hadoop 1.0.1 安装详解-新手必备

忘是亡心i 2022-06-10 09:29 172阅读 0赞

准备：

通过修改/etc/sysconfig/network-scripts/ifcfg-eth0 ，配置ip等信息

vi /etc/hosts

172.16.16.1          hdfs1

设置master到任意节点的无密码登录

Enter file in which to save the key (/root/.ssh/id\_rsa):

Enter same passphrase again:

The key fingerprint is:

\[root@hdfs1 .ssh\]\# mv id\_rsa.pub id\_rsahdfs1.pub

\[root@hdfs1 .ssh\]\# ssh hdfs1

\[root@hdfs1 .ssh\]\# ssh hdfs2

\[root@hdfs1 .ssh\]\# ssh hdfs3

Ok , ssh验证均不需要密码

chmod 755 jdk-6u31-linux-i586.bin

注意： 因为安装jdk，就是安装Java程序，看系统默认的程序是否卸载掉，可以手动删除，然后在做一个软连接

java version "1.6.0"

删除/usr/bin 的Java符号链接

然后再做一个软连接：

Java(TM) SE Runtime Environment (build 1.6.0\_31-b04)

所有的主机的Java都调整好后，开始编辑hadoop的配置文件

配置core-site、mapred-site、hdfs-site文件  
  **sudo gedit conf/core-site.xml**  
  修改为：  
 <configuration>   
 <property>    
   <name>fs.default.name</name>

<value>hdfs://master:9000</value>     
   </property>     
  </configuration>

**sudo gedit conf/mapred-site.xml**  
  <configuration>  
   <property>     
      <name>mapred.job.tracker</name>    
      <value>master:9001</value>     
   </property>    
  </configuration>

**  sudo gedit conf/hdfs-site.xml**  
  <configuration>  
  <property>  
  <name>dfs.name.dir</name>  
  <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>  
  </property>  
  <property>  
  <name>dfs.data.dir</name>  
  <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>  
  </property>  
  <property>  
  <name>dfs.replication</name>  
  <value>2</value>  
  </property>  
  </configuration>

设置hdfs系统备份文件数，此值设置为2，说明当一个文件上传到hdfs系统中，会被备份2个

设置主从节点：

同样的配置文件，拷贝到其它两台slave节点中

开启hdfs防火墙端口：

重启防火墙，使新添加的防火墙规则生效

\[root@hdfs1 hadoop-1.0.1\]\# /usr/local/hadoop-1.0.1/bin/hadoop namenode -format

STARTUP\_MSG: Starting NameNode

STARTUP\_MSG:   version = 1.0.1

12/03/24 13:19:17 INFO util.GSet: VM type       = 32-bit

12/03/24 13:19:17 INFO util.GSet: recommended=4194304, actual=4194304

12/03/24 13:19:18 INFO namenode.FSNamesystem: isPermissionEnabled=true

12/03/24 13:19:18 INFO namenode.NameNode: Caching file names occuring more than 10 times

12/03/24 13:19:18 INFO namenode.NameNode: SHUTDOWN\_MSG:

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*/

启动hadoop进程

hdfs3: starting datanode, logging to /usr/local/hadoop-1.0.1/libexec/../logs/hadoop-root-datanode-hdfs3.out

starting jobtracker, logging to /usr/local/hadoop-1.0.1/libexec/../logs/hadoop-root-jobtracker-hdfs1.out

启动完成后，用ps -ef 可以查到hdfs上启动了3个关于hadoop有关的java进程， server.namenode.NameNode namenode.SecondaryNameNode mapred.JobTracker

Vi /etc/profile

同步到其他slave节点上

\[root@hdfs1 bin\]\# scp /etc/profile root@hdfs3:/etc/

让文件生效，这样hadoop/bin下的和jdk/bin/下的命令，可以任意调用

\[root@hdfs1 bin\]\# jps

8592 JobTracker

8600 Jps

\[root@hdfs3 bin\]\# jps

11902 TaskTracker

<span yes';="" font-size:10.5000pt;="" font-family:'宋体';="" "="" style="padding-top: 0px; padding-right: 0px; padding-bottom: 0px; padding-left: 0px; margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "> 以上所有的步骤，是hadoop集群系统的安装、配置部分，后续将继续发表出hdfs的命令、操作等其它文章