6、eclipse + HDFS参数优先级

太过爱你忘了你带给我的痛 2023-06-08 15:59 6阅读 0赞

### 文章目录 ###

*  1、采用集群中配置
 *  2、采用classpath下的文件中配置的
 *  3、采用代码中的配置
 *   *  总结

配置集群时，关于HDFS的配置都在/etc进行了相关配置，用eclipse客户端进行开发时，可以用更高优先级的配置覆盖掉集群中的配置。下面以设置副本为例。  
在hadoop集群中hdfs-site.xml的配置如下：

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
        
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>172.17.0.3:50090</value>
        </property>
    </configuration>

# 1、采用集群中配置 #

集群中配置的副本数为3，下面在eclipse中执行上传HDFS文本demo，观察文件的副本数。

@Test
    public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { 
    	Configuration conf = new Configuration();
    	FileSystem fs = FileSystem.get(new URI("hdfs://192.168.85.137:9000"), conf, "root");
    	fs.copyFromLocalFile(new Path("D:/tmp/myfile.txt"), new Path("/user/lzj"));
    	fs.close();
    	System.out.println("successfully!");
    }

执行demo，发现上传到HDFS中的myfile文件副本的数量为3份。  
![在这里插入图片描述][20191019110832300.PNG]

# 2、采用classpath下的文件中配置的 #

把集群配置中的hdfs-site.xml文件复制到src/main/resoures目录下，只保留关于副本的配置即可，src/main/resoures目录下的hdfs-site.xml内容如下：

然后执行测试demo

@Test
    public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { 
    	Configuration conf = new Configuration();
    	FileSystem fs = FileSystem.get(new URI("hdfs://192.168.85.137:9000"), conf, "root");
    	fs.copyFromLocalFile(new Path("D:/tmp/myfile1.txt"), new Path("/user/lzj"));
    	fs.close();
    	System.out.println("successfully!");
    }

执行完毕后，发现上传到hdfs中的myfile1.txt的副本数量为2份。说明src/main/resoures目录下的hdfs-site.xml下的配置覆盖掉了集群中副本的配置。

# 3、采用代码中的配置 #

保留上面配置，然后在代码中设置副本的数量，代码如下，修改副本设置

@Test
    public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { 
    	Configuration conf = new Configuration();
    	conf.set("dfs.replication", "1");
    	FileSystem fs = FileSystem.get(new URI("hdfs://192.168.85.137:9000"), conf, "root");
    	fs.copyFromLocalFile(new Path("D:/tmp/myfile2.txt"), new Path("/user/lzj"));
    	fs.close();
    	System.out.println("successfully!");
    }

执行代码，发现上传到HDFS中myfile2.txt的副本数量为1份，可见代码中副本的设置覆盖掉了src/main/resoures目录下的hdfs-site.xml中副本的配置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70]

## 总结 ##

代码中配置优先级高于classpath下的配置，classpath下的配置优先级高于集群中的配置。如果以上三者都没有配置，则采用集群默认的配置。

[20191019110832300.PNG]: /images/20230531/f8555ab311e94163bbd7fd9408b03581.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70]: /images/20230531/08484ef1e66c4642bd4a7879379b4c1f.png