1.hadoop伪分布式安装命令(hadoop学习笔记)

深藏阁楼爱情的钟 2022-08-05 08:56 208阅读 0赞

配置linux权限用户:  
sudo passwd root  
设置密码:hadoop  
su root  
  
  
centos配置  
选择网络适配器  
点击仅主机模式  
  
  
进入计算机网络  
更改适配器  
选择wmware network adapter vmnet1  
设置ip  
192.168.56.1  
子网掩码  
255.255.255.0  
首选dns服务器  
192.168.56.1  
然后配置linux的ip  
192.168.56.100 255.255.255.0 192.168.56.1  
  
  
  
  
进入虚拟机进不去  
网络适配器，高级，生成  
  
  
  
  
bios.forceSetupOnce = "TRUE" 设置虚拟机必须进入bios  
  
  
  
  
hadoop伪分布式安装：  
1.关闭防火墙 -----关闭：service iptables stop --验证关闭：service iptables status--关闭防火墙的自动运行  
chkconfig --list | grep iptables ----chkconfig iptables off  
2.修改ip 见上面  
3.修改hostname----hostname chaoren(重启后无效) vi /etc/sysconfig/network 进行修改  
4.设置ssh自动登录 ssh 192.168.56.100----ssh-keygen -t rsa(然后一路enter下去)----cd /root/.ssh/----  
cp id\_rsa.pub authorized\_keys-----ssh localhost--验证:ping chaoren  
5.ip与hostname绑定  
vi /etc/hosts---添加192.168.56.100 chaoren--保存退出--验证:ssh chaoren  
6.安装jdk  
winscp工具，配置虚拟机ip，选择桌面，选择虚拟机/usr/local  删除多余文件，拖动左边jdk.bin和hadoop.taz到右边/usr/local文件夹  
进入cd /usr/local 赋予权限 chmod u+x jdk-6u45-linux-x64.bin --./jdk-6u45-linux-x64.bin进入安装   
重命名:  
mv jdk-1.6.0\_45/ jdk  
修改环境变量:  
vi /etc/profile添加:  
export JAVA\_HOME =/usr/local/jdk  
export PATH=.:$JAVA\_HOME/bin/:$PATH  
刷新文件:  
source /etc/profile  
验证:  
java -version -----（host）  
  
  
7.安装hadoop  
在local目录下:  
执行命令 1.tar -zxvf hadoop-1.1.2-tar.gz  
修改文件名:  
mv hadoop-1.1.2 hadoop  
修改profile  
vi /etc/profile  
更改文件如下:  
export JAVA\_HOME =/usr/local/jdk  
export HADOOP\_HOME=/usr/local/hadoop  
export PATH=.:$HADOOP\_HOME/bin:$JAVA\_HOME/bin/:$PATH  
  
  
更改conf文件:  
cd hadoop/conf/  
可以使用win-scp  
win-scp进入conf目录:  
编辑:hadoop-env.sh  
如下:  
\# Set Hadoop-specific environment variables here.  
  
  
\# The only required environment variable is JAVA\_HOME.  All others are  
\# optional.  When running a distributed configuration it is best to  
\# set JAVA\_HOME in this file, so that it is correctly defined on  
\# remote nodes.  
  
  
\# The java implementation to use.  Required.  
export JAVA\_HOME=/usr/local/jdk   （括号内容只是解释，不是需要添加的!修改该行为jdk目录）  
修改core-site.xml,添加如下:  
<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://chaoren:9000</value>  (chaoren为上文配置的hostname chaoren)  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/local/hadoop/tmp</value>  
    </property>  
</configuration>  
修改hdfs-site.xml和mapred-site.xml:  
3.hdfs-site.xml  
<configuration>  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
    <property>  
        <name>dfs.permissions</name>  
        <value>false</value>  
    </property>  
</configuration>  
  
  
4.mapred-site.xml  
<configuration>  
    <property>  
        <name>mapred.job.tracker</name>  
        <value>chaoren:9001</value> (注意hostname)  
    </property>  
</configuration>  
  
  
格式化文件:  
cd ../bin进入bin目录  
执行:  
hadoop namenode -format  
start-all.sh  
是否启动成功  
用jps看java进程，如果看到5个java进程，则配置成功  
windows浏览器 : http://192.168.56.100:50070/  
  
  
启动时没有namenode的可能原因:  
1.没有格式化  
2.环境变量设置错误  
3.ip与hostname绑定失败