Linux相关hadoop环境配置

我不是女神ヾ 2022-05-16 05:22 200阅读 0赞

# Linux相关hadoop环境配置 #

### 说明 ###

此环境配置适合单机版配置
    操作系统的版本：centOS6.5
    jdk安装目录：/home/software/jdk/jdk8
    hadoop安装目录：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
    ssh：已经安装
    主机名：hadoop01

### JDK相关配置 ###

JAVA_HOME=/home/software/jdk/jdk8
    PATH=$JAVA_HOME/bin:$PATH
    CLASSPATH=.:$JAVA_HOME/lb/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME PATH CLASSPATH

### SSH免密相关配置 ###

1. 生成ssh
        ssh-keygen
        所有停顿点直接回车
    2. 设置免密登录
        ssh-copy-id -i 生成的公钥路径

### hadoop相关配置 ###

*  环境配置
    
     
    
        export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
        export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 *  hadoop相关文件的具体配置【进入hadoop的安装路径下的etc/hadoop】
    
     *  hadoop-env.sh的相关配置
        
         
        
            #jdk的安装目录
            export JAVA_HOME=/home/software/jdk/jdk8
     *  core-site.xml的相关配置
        
         
        
            
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:8020</value>
            </property>
            
            
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/tmp</value>
            </property>
     *  hdfs-site.xml相关配置
        
         
        
            
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            
            
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop/app/tmp/dfs/name</value>
            </property>
            
            
            <property>
                <name>dfs.namenode.data.dir</name>
                <value>file:/home/hadoop/app/tmp/dfs/data</value>
            </property>
     *  slaves
        
         
        
            hadoop01
     *  mapred-site.xm相关配置【这个文件操作之前需要复制一份mapred-site.xml.template文件，并将名字改为mapred-site.xml】
        
         
        
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
     *  yarn-site.xml相关配置
        
         
        
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>