Hadoop升级步骤cdh3u3到cdh3u6

分手后的思念是犯贱 2022-09-17 13:17 230阅读 0赞

8月份的时候做了下hadoop的升级，小版本升级

参考文档：[http://wiki.apache.org/hadoop/Hadoop\_Upgrade][http_wiki.apache.org_hadoop_Hadoop_Upgrade]

原文地址：[http://blog.csdn.net/lxpbs8851/article/details/12968997][http_blog.csdn.net_lxpbs8851_article_details_12968997]

在此做一个记录：

从版本 hadoop-0.20.2-cdh3u3 升级到 hadoop-0.20.2-cdh3u6

步骤如下：

1.备份namenode信息

\#hadoop dfs –lsr / >/opt/namenode\_back/namenode-lsr-v-old.log

\#hadoop fsck / >/opt/namenode\_back/namenode-fsck-v-old.log

前面2项用于升级之后对数据的对比

\#cp –r $\{dfs.name.dir\} /opt/ namenode\_back/name/

备份namenode的meta数据，用户升级失败后的恢复

2.关闭旧集群，上传最新稳定版本cdh3u6,配置各个文件：core、hdfs、mapred、master、slaves，也可以使用先前的配置文件，根据当前版本的情况来决定是否要对配置文件做修改，配置hadoop-env.sh

3.将配置好的新版本目录分发给集群中所有的机器节点，注意文件目录的所属用户，若不同则用chown进行修改。

4.将老版本$\{dfs.name.dir\}目录下的文件拷贝到新版本$\{dfs.name.dir\}的目录下面，要是新老版本的目录一样，可以不要拷贝

5.开始更新操作：

\#$\{NEW\_HADOOP\_HOME\}/bin/start-dfs.sh–upgrade

使用如下命令进行监控，查看是否升级完成:

\#$ \{ NEW\_HADOOP\_HOME \}/bin/hadoop dfsadmin -upgradeProgressstatus

出现Upgrade for version - hadoop-0.20.2-cdh3u6 has been completed.的提示即完成了升级。

6.修改环境变量:

在root用户下修改。

\#vi /etc/profile

主要是修改$HADOOP\_HOME

7.启动新集群

\#$\{NEW\_HADOOP\_HOME\}/bin/start-all.sh

8.生成新的信息：

\#hadoop fs –lsr / >/opt/namenode\_back/namenode-lsr-v-new.log

\#hadoop fsck / >/opt/namenode\_back/namenode-fsck-v-new.log

对比1中2个old-log 若信息不符合（丢失最要数据），可以选择回滚。

9.回滚操作：

\#$\{NEW\_HADOOP\_HOME\}/bin/stop-all.sh

\#$\{NEW\_HADOOP\_HOME\}/bin/start-dfs.sh –rollback

改回环境变量，

\#$\{OLD\_HADOOP\_HOME\}/bin/start-all.sh

[http_wiki.apache.org_hadoop_Hadoop_Upgrade]: http://wiki.apache.org/hadoop/Hadoop_Upgrade
[http_blog.csdn.net_lxpbs8851_article_details_12968997]: http://blog.csdn.net/lxpbs8851/article/details/12968997

发表评论取消回复

表情：

评论列表（有 0 条评论，230人围观）

还没有评论，来说两句吧...

相关阅读

相关 CDH6.3添加flink服务

准备工作到 [https://archive.cloudera.com/csa/1.0.0.0/csd/][https_archive.cloudera.com_csa

蔚落/ 2023年07月03日 06:02/ 0 赞/ 113 阅读

相关 CDH 6.3.1停机后恢复服务

文章目录 1 启动Mysql服务器 2 启动CDH集群 2.1 启动Server 查看启动日志 2.2 启

墨蓝/ 2023年02月18日 09:50/ 0 赞/ 3 阅读

相关 CDH6.3.1安装FLINK

CDH6.3.1安装FLINK 1. 准备 2. 将上面文件移动到master对应位置位置 3. 重启cdh集群 4. 添加Flink服务

浅浅的花香味﹌/ 2022年12月27日 04:44/ 0 赞/ 194 阅读

相关 CDH 6.3 大数据平台搭建

文章目录一.CDH概述二.安装CDH前准备 2.1 环境准备 2.2 安装前准备 2.2.1 主机名配置（所

逃离我推掉我的手/ 2022年12月26日 10:10/ 0 赞/ 162 阅读

相关 CDH6.3.1企业版安装详细步骤

0. 主机规划 <table> <thead> <tr> <th>虚拟机主机</th> <th>IP</th> <th>资源(CPU/内

我不是女神ヾ/ 2022年12月26日 04:49/ 0 赞/ 356 阅读

相关 CDH6.3.2 在线安装 hadoop Lzo压缩

CDH6.3.2 在线安装 hadoop Lzo压缩 1 查看我的hadoop支撑的压缩方式 2 LzoCodec和LzopCodec区别 3 在线Pa

快来打我*/ 2022年10月29日 01:42/ 0 赞/ 243 阅读

相关 cdh6.3.2安装kafka

cdh6.3.2安装kafka 一、kafka安装二、简单操作一般来说建议如果允许不要跟hadoop平台安装同一个集群中，会占IO,这里只是本地跑

傷城~/ 2022年10月19日 05:45/ 0 赞/ 346 阅读

相关 CDH 组件升级：zookeeper升级到 3.4.14

文章目录 1, 存在的问题 2, 升级 a, 查看现有的版本，和启动过程 b, 下载新版的zookeeper,并替换, 重启zk服务

快来打我*/ 2022年10月16日 01:49/ 0 赞/ 207 阅读

相关 Hadoop升级步骤cdh3u3到cdh3u6

8月份的时候做了下hadoop的升级，小版本升级参考文档：[http://wiki.apache.org/hadoop/Hadoop\_Upgrade][http_wiki

分手后的思念是犯贱/ 2022年09月17日 13:17/ 0 赞/ 231 阅读

相关安装CM 6.3.1和CDH 6.3.2

安装CM 6.3.1和CDH 6.3.2 -------------------- 操作系统要求在安装CDH之前，我们来看看平台对系统有什么样的要求。通过官方文

妖狐艹你老母/ 2022年09月10日 13:26/ 0 赞/ 411 阅读