一篇文章彻底搞定跨集群跨版本distcp的使用

我不是女神ヾ 2022-08-29 10:26 165阅读 0赞

# 1.DistCp是是什么？ #

distcp是一个hdfs提供的工具。看官网关于distcp工具的描述:

1.  **distcp（分布式复制）是一种用于大型集群间/集群内复制的工具,且支持不同hadoop版本间的数据传输复制。**
2.  **它使用 MapReduce 来实现其分布、错误处理和恢复以及报告。它将文件和目录列表扩展为map任务的输入（一个只有map没有reduce的mapreduce任务），每个任务将复制源列表中指定的文件的一个分区。**

# 2.DistCp的生产使用  #

注意distcp支持大型集群间/集群内部数据的复制，对于集群间的数据复制要注意源集群和目标集群的hadoop版本是否一致，如果不一致，复制的方式是不一致的，**这个版本主要针对大版本的一致性性，如hadoop1.x，hadoop2.x,hadoop3.x之间的区别,对于小版本没有关系，本质是看版本之间使用的协议是否一致。**

对于集群内的复制就没有什么区别了，用法跟hadoop cp差不多。因为Distcp实际开发中也主要是针对跨集群之间的数据传输。

## 2.1 Distcp语法与参数解析 ##

### 2.1.1.distcp标准格式与参数 ###

#将10.90.48.127上的文件传输到指定10.90.50.53上同名目录
    hadoop distcp  hdfs://10.90.48.127:8020/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/ \
    hdfs://10.90.50.53:8020/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/

1.  注意，上面10.90.48.127和10.90.50.53都是两个集群的主namenode的ip，故distcp源ip和目标ip要和对应actvie的namenode的ip保持一致，因为它是复制指定namespace空间下的文件所以要去找namenode.
2.  端口这块要和namenode配置的通信端口一致fs.default.name, fs.defaultFS，不同集群可能配置的端口不一致，以实际为准。
3.  源集群和目标集群在执行传输数据时，要有同名的hadoop用户，并且具有对应的权限。
4.  相关distcp参数可以互相搭配使用
5.  **注意，使用hdfs协议的distcp即可以在源集群也可以在目标集群执行，在哪个集群执行使用哪个集群的资源。**

<table> 
 <tbody> 
  <tr> 
   <td style="width:202px;">distcp核心参数</td> 
   <td style="width:213px;">参数含义</td> 
   <td style="width:310px;">补充</td> 
  </tr> 
  <tr> 
   <td style="width:202px;"><strong>-m &lt;num_maps&gt;</strong></td> 
   <td style="width:213px;"> <p>同时启动的最大map数</p> <p>-m&nbsp; 50,启动50个map</p> </td> 
   <td style="width:310px;">指定要复制数据的map数。请注意，更多的map数不一定会提高吞吐量。因为DistCp 的最小工作单位是文件。即，一个文件仅由一个map处理。将map数量增加到超过文件数量的值不会产生性能优势。启动的地图数量将等于文件数量。</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-overwrite</td> 
   <td style="width:213px;">覆盖目的地的数据</td> 
   <td style="width:310px;">跟hive overwrite用法一样</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-update</td> 
   <td style="width:213px;">如果源数据和目标数据的大小、块大小或校验和不同，则覆盖它，使用-update仅复制更改的文件。</td> 
   <td style="width:310px;">这种主要用来更新复制，如果源数据和目标数不一致，则更新复制数据，将目标数据覆盖了。这种非常使用比如传输中途失败了，然后重传，不需要重头再传，有点类似断点续传。</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-bandwidth</td> 
   <td style="width:213px;"> <p>指定传输过程每个map的带宽，以 MB/秒为单位。</p> <p>-bandwidth 100,每个map最多使用100Mb带宽。</p> </td> 
   <td style="width:310px;">主要用来限制复制时节点使用的带宽，防止影响生产正常任务的执行，尤其对于带宽紧张的集群。每个地图将被限制为仅消耗指定的带宽。</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-numListstatusThreads</td> 
   <td style="width:213px;">用于构建文件列表的线程数</td> 
   <td style="width:310px;">最多 40 个线程，一般不指定。</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-skipcrccheck</td> 
   <td style="width:213px;">是否跳过源路径和目标路径之间的 CRC 检查。</td> 
   <td style="width:310px;">一般跳过，不然复制很慢。但是跳过会存在数据安全性降低的情况。</td> 
  </tr> 
  <tr> 
   <td style="width:202px;">-direct</td> 
   <td style="width:213px;">直接写入目标路径</td> 
   <td style="width:310px;">当目标是对象存储时，可用于避免可能非常昂贵的临时文件重命名操作。一般不建议使用。一般实际传输都是先创建临时文件，最后mv重命名一下即可。</td> 
  </tr> 
 </tbody> 
</table>

##  ##

其他相关参数，参考官方文档：[disctcp 官网使用介绍][disctcp]

## 2.2跨集群不跨版本distcp使用hdfs协议传输 ##

**1.控制map个数，不校验，更新模式传输。注意这里设置了用户使用队列。**

hadoop distcp   -Dmapreduce.job.queuename=root.yarn_data_compliance  \
      -update  -skipcrccheck  -m 100   \
     hdfs://10.90.48.127:8020/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/ \
     hdfs://10.90.50.53:8020/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/

## **2.3跨集群跨HDFS版本的distcp使用webhdfs传输** ##

为了在 Hadoop 的两个不同主要版本集群之间进行复制（例如在 2.X 和 3.X 之间），通常会使用 WebHdfsFileSystem。与之前的 HftpFileSystem 不同，**由于 webhdfs 可用于读写操作，因此 DistCp 可以在源集群和目标集群上运行（HftpFileSystem。 这是一个只读文件系统，所以DistCp必须运行在目标端集群上，Hadoop3.x 已经对其废弃使用，使用webhdfs替代****）**

注意使用webhdfs时远程集群的URI格式为为webhdfs://<namenode\_hostname>:<http\_port>。在相同主要版本的 Hadoop 集群之间进行复制时（例如在 2.X 和 2.X 之间），使用 hdfs 协议以获得更好的性能。

**案例1：cdh集群hadoop2.6往cdh hadoop3.3集群传输文件**

hadoop distcp -update -skipcrccheck -m 50 \
    webhdfs://10.90.48.127:50070/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/day=20210701       \
    webhdfs://10.90.50.54:9870/user/hive/warehouse/dm_smssdk_master.db/log_device_phone_dedup/day=20210701

如上，跨集群跨版本从10.90.28.127的hadoop2.6集群往10.90.50.54的hadoop3.3集群上传输文件，使用webhdfs协议。脚本运行在目标集群10.90.50.54上执行。当然也可以运行10.90.28.127上执行。**注意这里两个集群的端口不一致，因为不同版本的端口不一致，以实际配置端口为准。**

**实际执行过程：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 1][]

#  3.Distcp的其他介绍 #

## 3.1distcp支持同时配置多个数据源的传输复制 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 2][]

##  3.2 distcp的架构 ##

新的hadoop3.x  DistCp 的组件可以分为以下几类：基于此我们可以自定义distcp jar包，定制化文件传输使用。

*  DistCp 驱动程序
 *  复制列表生成器
 *  输入格式和 Map-Reduce 组件

## 其他关于distcp的详细介绍与使用，可以参考官网 ##

[https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html][disctcp]

[http://hadoop.apache.org/docs/r1.2.1/distcp.html][http_hadoop.apache.org_docs_r1.2.1_distcp.html]

[disctcp]: https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210802130116535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 1]: /images/20220829/a99a385bd24741e6ae0b63e9658ba931.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDQyNTUz_size_16_color_FFFFFF_t_70 2]: /images/20220829/bab4d449f5974aa3964eaa4df9e146d0.png
[http_hadoop.apache.org_docs_r1.2.1_distcp.html]: http://hadoop.apache.org/docs/r1.2.1/distcp.html