万法归宗之Hadoop编程无界限

落日映苍穹つ 2022-08-07 12:37 37阅读 0赞

记录下，散仙今天的工作以及遇到的问题和解决方案，俗话说，好记性不如烂笔头，写出来文章，供大家参考，学习和点评，进步，才是王道 ，废话不多说，下面切入主题：  
  
先介绍下需求：  
  
散仙要处理多个类似表的txt数据，当然只有值，列名什么的全部在xml里配置了，然后加工这些每个表的每一行数据，生成特定的格式基于ASCII码1和ASCII码2作为分隔符的一行数据，ASCII2作为字段名和字段值的分隔符，ASCII1作为字段和字段之间的分隔符，每解析一个txt文件时，都要获取文件名，然后与xml中的schema信息映射并找到对应位置的值，它的列名，前提是，这些的txt的内容位置，是固定的，然后我们知道它每一行属于哪个表结构的映射，因为这些映射信息是提前配置在xml中的，如下图：  
  
![点击查看原始大小图片][071c8c24-835e-3484-8897-190629668a7d.png]  
  
当然类似这样的结构有20个左右的表文件，到时候，我们的数据方，会给我们提供这些txt文件，然后散仙需要加工成特定的格式，然后写入HDFS，由我们的索引系统使用MapReduce批量建索引使用。  
  
本来想直接用java写个单机程序，串行处理，然后写入HDFS，后来一想假如数据量比较大，串行程序还得改成多线程并行执行，这样改来改去，倒不如直接使用MapReduce来的方便  
  
   
ok，说干就干，测试环境已经有一套CDH5.3的hadoop2.5集群，直接就在eclipse进行开发和MapReduce程序的调试，反正也好久也没手写MapReduce了，前段时间，一直在用Apache Pig分析数据，这次处理的逻辑也不复杂，就再写下练练手 ， CDH的集群在远程的服务器上，散仙本机的hadoop是Apache Hadoop2.2的版本，在使用eclipse进行开发时，也没来得及换版本，理论上最好各个版本，不同发行版，之间对应起来开发比较好，这样一般不会存在兼容性问题，但散仙这次就懒的换了，因为CDH5.x之后的版本，是基于社区版的Apache Hadoop2.2之上改造的，接口应该大部分都一致，当然这只是散仙猜想的。  
  
  
  
（1）首先，散仙要搞定的事，就是解析xml了，在程序启动之前需要把xml解析，加载到一个Map中，这样在处理每种txt时，会根据文件名来去Map中找到对应的schma信息，解析xml，散仙直接使用的jsoup，具体为啥，请点击散仙这篇  
http://qindongliang.iteye.com/blog/2162519[文章][Link 1]，在这期间遇到了一个比较蛋疼的问题，简直是一个bug，最早散仙定义的xml是每个表，一个table标签，然后它下面有各个property的映射定义，但是在用jsoup的cssQuery语法解析时，发现总是解析不出来东西，按照以前的做法，是没任何问题的，这次简直是开玩笑了，后来就是各种搜索，测试，最后才发现，将table标签，换成其他的任何标签都无任何问题，具体原因，散仙还没来得及细看jsoup的源码，猜测table标签应该是一个关键词什么的标签，在解析时会和html的table冲突，所以在xml解析中失效了，花了接近2个小时，求证，检验，终于搞定了这个小bug。  
  
  
（2）搞定了这个问题，散仙就开始开发调试MapReduce版的处理程序，这下面临的又一个问题，就是如何使用Jsoup解析存放在HDFS上的xml文件，有过Hadoop编程经验的人，应该都知道，HDFS是一套分布式的文件系统，与我们本地的磁盘的存储方式是不一样的，比如你在正常的JAVA程序上解析在C:\\file\\t.tx或者在linux上/home/user/t.txt，所编写的程序在Hadoop上是无法使用的，你得使用Hadoop提供的编程接口获取它的文件信息，然后转成字符串之后，再给jsoup解析。  
  
  
（3）ok，第二个问题搞定之后，你得编写你的MR程序，处理对应的txt文本，而且保证不同的txt里面的数据格式，所获取的scheaml是正确的，所以在map方法里，你要获取当然处理文件的路径，然后做相应判断，在做对应处理。  
  
  
（4）很好，第三个问题搞定之后，你的MR的程序，基本编写的差不多了，下一步就改考虑如何提交到Hadoop的集群上，来调试程序了，由于散仙是在Win上的eclipse开发的，所以这一步可能遇到的问题会很多，而且加上，hadoop的版本不一致与发行商也不一致，出问题也纯属正常。  
  
  
这里多写一点，一般建议大家不要在win上调试hadoop程序，这里的坑非常多，如果可以，还是建议大家在linux上直接玩，下面说下，散仙今天又踩的坑，关于在windows上调试eclipse开发, 运行Yarn的MR程序，散仙以前也记录了文章，感兴趣者，可以点击这个链接  
http://qindongliang.iteye.com/blog/2078452[地址][Link 2]。  
  
  
（5）提交前，是需要使用ant或maven或者java自带的导出工具，将项目打成一个jar包提交的，这一点大家需要注意下，最后测试得出，Apache的hadoop2.2编写的MR程序，是可以直接向CDH Hadoop2.5提交作业的，但是由于hadoop2.5中，使用google的guice作为了一个内嵌的MVC轻量级的框架，所以在windows上打包提交时，需要引入额外的guice的几个包，截图如下：  
  
   
  
![00f97496-b51c-309c-bc0a-bc48fea8a187.png][]   
  
上面几步搞定后，打包整个项目，然后运行成功，过程如下：

Java代码 ![收藏代码][icon_star.png]

1.  输出路径存在，已删除！ 
2.  2015\-04\-08 19:35:18,001 INFO \[main\] client.RMProxy (RMProxy.java:createRMProxy(56)) - Connecting to ResourceManager at /172.26.150.18:8032
3.  2015\-04\-08 19:35:18,170 WARN \[main\] mapreduce.JobSubmitter (JobSubmitter.java:copyAndConfigureFiles(149)) - Hadoop command-line option parsing not performed. Implement the Tool **interface** and execute your application with ToolRunner to remedy **this**. 
4.  2015\-04\-08 19:35:21,156 INFO \[main\] input.FileInputFormat (FileInputFormat.java:listStatus(287)) - Total input paths to process : 2
5.  2015\-04\-08 19:35:21,219 INFO \[main\] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(394)) - number of splits:2
6.  2015\-04\-08 19:35:21,228 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - user.name is deprecated. Instead, use mapreduce.job.user.name 
7.  2015\-04\-08 19:35:21,228 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.jar is deprecated. Instead, use mapreduce.job.jar 
8.  2015\-04\-08 19:35:21,228 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - fs.**default**.name is deprecated. Instead, use fs.defaultFS 
9.  2015\-04\-08 19:35:21,229 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces 
10. 2015\-04\-08 19:35:21,229 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.mapoutput.value.**class** is deprecated. Instead, use mapreduce.map.output.value.**class**
11. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.map.**class** is deprecated. Instead, use mapreduce.job.map.**class**
12. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.job.name is deprecated. Instead, use mapreduce.job.name 
13. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.inputformat.**class** is deprecated. Instead, use mapreduce.job.inputformat.**class**
14. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir 
15. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir 
16. 2015\-04\-08 19:35:21,230 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.outputformat.**class** is deprecated. Instead, use mapreduce.job.outputformat.**class**
17. 2015\-04\-08 19:35:21,231 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 
18. 2015\-04\-08 19:35:21,233 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.mapoutput.key.**class** is deprecated. Instead, use mapreduce.map.output.key.**class**
19. 2015\-04\-08 19:35:21,233 INFO \[main\] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir 
20. 2015\-04\-08 19:35:21,331 INFO \[main\] mapreduce.JobSubmitter (JobSubmitter.java:printTokens(477)) - Submitting tokens **for** job: job\_1419419533357\_5012 
21. 2015\-04\-08 19:35:21,481 INFO \[main\] impl.YarnClientImpl (YarnClientImpl.java:submitApplication(174)) - Submitted application application\_1419419533357\_5012 to ResourceManager at /172.21.50.108:8032
22. 2015\-04\-08 19:35:21,506 INFO \[main\] mapreduce.Job (Job.java:submit(1272)) - The url to track the job: http://http://dnode1:8088/proxy/application\_1419419533357\_5012/
23. 2015\-04\-08 19:35:21,506 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1317)) - Running job: job\_1419419533357\_5012 
24. 2015\-04\-08 19:35:33,777 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1338)) - Job job\_1419419533357\_5012 running in uber mode : **false**
25. 2015\-04\-08 19:35:33,779 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) - map 0% reduce 0% 
26. 2015\-04\-08 19:35:43,885 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) - map 100% reduce 0% 
27. 2015\-04\-08 19:35:43,902 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1356)) - Job job\_1419419533357\_5012 completed successfully 
28. 2015\-04\-08 19:35:44,011 INFO \[main\] mapreduce.Job (Job.java:monitorAndPrintJob(1363)) - Counters: 27
29.  File System Counters 
30.  FILE: Number of bytes read=0
31.  FILE: Number of bytes written=166572
32.  FILE: Number of read operations=0
33.  FILE: Number of large read operations=0
34.  FILE: Number of write operations=0
35.  HDFS: Number of bytes read=47795
36.  HDFS: Number of bytes written=594
37.  HDFS: Number of read operations=12
38.  HDFS: Number of large read operations=0
39.  HDFS: Number of write operations=4
40.  Job Counters 
41.  Launched map tasks=2
42.  Data-local map tasks=2
43.  Total time spent by all maps in occupied slots (ms)=9617
44.  Total time spent by all reduces in occupied slots (ms)=0
45.  Map-Reduce Framework 
46.  Map input records=11
47.  Map output records=5
48.  Input split bytes=252
49.  Spilled Records=0
50.  Failed Shuffles=0
51.  Merged Map outputs=0
52.  GC time elapsed (ms)=53
53.  CPU time spent (ms)=2910
54.  Physical memory (bytes) snapshot=327467008
55.  Virtual memory (bytes) snapshot=1905754112
56.  Total committed heap usage (bytes)=402653184
57.  File Input Format Counters 
58.  Bytes Read=541
59.  File Output Format Counters 
60.  Bytes Written=594
61. **true**

最后附上核心代码，以作备忘：  
（1）Map Only作业的代码：

Java代码 ![收藏代码][icon_star.png]

1.  **package** com.dhgate.search.rate.convert; 
2.  
3.  **import** java.io.File; 
4.  **import** java.io.FileInputStream; 
5.  **import** java.io.FileNotFoundException; 
6.  **import** java.io.FilenameFilter; 
7.  **import** java.io.IOException; 
8.  **import** java.util.Map; 
9.  
10. **import** org.apache.hadoop.conf.Configuration; 
11. **import** org.apache.hadoop.fs.FileSystem; 
12. **import** org.apache.hadoop.fs.Path; 
13. **import** org.apache.hadoop.io.LongWritable; 
14. **import** org.apache.hadoop.io.NullWritable; 
15. **import** org.apache.hadoop.io.Text; 
16. **import** org.apache.hadoop.mapreduce.Job; 
17. **import** org.apache.hadoop.mapreduce.Mapper; 
18. **import** org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
19. **import** org.apache.hadoop.mapreduce.lib.input.FileSplit; 
20. **import** org.apache.hadoop.mapreduce.lib.input.TextInputFormat; 
21. **import** org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
22. **import** org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; 
23. **import** org.slf4j.Logger; 
24. **import** org.slf4j.LoggerFactory; 
25. 
26. **import** com.dhgate.parse.xml.tools.HDFSParseXmlTools; 
27. **import** com.sun.xml.bind.v2.schemagen.xmlschema.Import; 
28. 
29. /\*\*
30.  \* 加工处理数据格式
31.  \* 
32.  \* @author qindongliang 2015年04月07日
33.  \* 
34.  \* \*\*/
35. **public** **class** StoreConvert \{ 
36. 
37. //log4j记录
38. **static** Logger log=LoggerFactory.getLogger(StoreConvert.**class**); 
39. 
40. /\*\*
41.  \* 转换支持的格式
42.  \* 
43.  \* \*\*/
44. **private** **static** **class** FormatMapper **extends** Mapper<LongWritable, Text, NullWritable, Text>\{ 
45. 
46. @Override
47. **protected** **void** map(LongWritable key, Text value,Context context)**throws** IOException, InterruptedException \{ 
48.  String filename = ((FileSplit) context.getInputSplit()).getPath().getName().split("\\\\.")\[0\]; 
49. 
50. //System.out.println("文件名是： "+filename);
51. //log.info("读取的文件名是: "+filename);
52.  String vs\[\]=value.toString().split(","); 
53. 
54. **if**(HDFSParseXmlTools.map.get(filename)!=**null**)\{ 
55.  Map<String, String> m=HDFSParseXmlTools.map.get(filename); 
56.  StringBuffer sb=**new** StringBuffer(); 
57. **for**(**int** i=0;i<vs.length;i++)\{ 
58. //字段\\2值
59. **if**(i==vs.length-1)\{ 
60.  sb.append(m.get(i+"")).append("\\2").append(vs\[i\]); 
61.  \}**else**\{ 
62.  sb.append(m.get(i+"")).append("\\2").append(vs\[i\]).append("\\1"); 
63. 
64.  \} 
65.  \} 
66.  context.write(NullWritable.get(), **new** Text(filename+" == "\+sb.toString())); 
67.  \} 
68. 
69. 
70.  \} 
71. 
72. 
73. 
74. 
75. 
76.  \} 
77. 
78. 
79. 
80. **public** **static** **void** main(String\[\] args) **throws** Exception \{ 
81. 
82. 
83. // System.setProperty("HADOOP\_USER\_NAME", "root"); 
84.  Configuration conf=**new** Configuration(); 
85. // getConf(conf);
86.  conf.set("mapreduce.job.jar", "searchrate.jar"); 
87.  conf.set("fs.defaultFS","hdfs://172.21.50.108:8020"); 
88.  conf.set("mapreduce.framework.name", "yarn"); 
89.  conf.set("mapred.remote.os", "Linux"); 
90.  conf.set("yarn.resourcemanager.scheduler.address", "172.21.50.108:8030"); 
91.  conf.set("yarn.resourcemanager.address", "172.21.50.108:8032"); 
92. // System.exit(0);
93.  Job job=Job.getInstance(conf, "formatdata"); 
94.  job.setJarByClass(StoreConvert.**class**); 
95. 
96. // System.out.println("模式： "+conf.get("mapreduce.jobtracker.address"));; 
97. 
98. 
99. 
100.  job.setMapperClass(FormatMapper.**class**); 
101. 
102.  job.setMapOutputKeyClass(Text.**class**); 
103.  job.setMapOutputValueClass(Text.**class**); 
104. 
105.  job.setInputFormatClass(TextInputFormat.**class**); 
106.  job.setOutputFormatClass(TextOutputFormat.**class**); 
107.  job.setNumReduceTasks(0);//Map Only作业
108. 
109. 
110. 
111. 
112.  String path = "/tmp/qin/out"; 
113.  FileSystem fs = FileSystem.get(conf); 
114.  Path p = **new** Path(path); 
115. **if** (fs.exists(p)) \{ 
116.  fs.delete(p, **true**); 
117.  System.out.println("输出路径存在，已删除！"); 
118.  \} 
119.  FileInputFormat.setInputPaths(job, "/tmp/qin/testfile/"); 
120.  FileOutputFormat.setOutputPath(job, p); 
121. 
122. 
123. 
124. 
125. 
126.  System.out.println(job.waitForCompletion(**true**)); 
127. 
128. 
129. 
130. 
131. 
132. 
133. 
134. 
135. 
136.  \} 
137. 
138. 
139. 
140. \}

使用解析HDFS上xml文件的代码：

Java代码 ![收藏代码][icon_star.png]

1.  **package** com.dhgate.parse.xml.tools; 
2.  
3.  
4.  
5.  **import** java.io.BufferedReader; 
6.  **import** java.io.InputStreamReader; 
7.  **import** java.util.HashMap; 
8.  **import** java.util.HashSet; 
9.  **import** java.util.List; 
10. **import** java.util.Map; 
11. **import** java.util.Map.Entry; 
12. **import** java.util.Set; 
13. **import** java.util.TreeMap; 
14. 
15. **import** org.apache.hadoop.conf.Configuration; 
16. **import** org.apache.hadoop.fs.FileSystem; 
17. **import** org.apache.hadoop.fs.Path; 
18. **import** org.jsoup.Jsoup; 
19. **import** org.jsoup.nodes.Document; 
20. **import** org.jsoup.nodes.Element; 
21. **import** org.slf4j.Logger; 
22. **import** org.slf4j.LoggerFactory; 
23. 
24. 
25. /\*\*
26.  \* Created by qindongliang on 15-4-6.
27.  \* 大数据交流群：415886155
28.  \*/
29. **public** **class** HDFSParseXmlTools \{ 
30. **private** **final** **static** Logger log= LoggerFactory.getLogger(HDFSParseXmlTools.**class**); 
31. //存储元数据信息
32. **public** **static** Map<String, Map<String, String>> map=**new** HashMap<String, Map<String,String>>(); 
33. **static** Configuration conf=**new** Configuration(); 
34. **static** FileSystem fs=**null**; 
35. 
36. 
37. **static**\{ 
38.  log.info("初始化加载mapping.xml开始......."); 
39. **try**\{ 
40. 
41. 
42.  conf.set("fs.defaultFS","hdfs://172.21.50.108:8020/"); 
43.  fs=FileSystem.get(conf);//获取conf对象 
44.  Path xml =**new** Path("/tmp/qin/mapping.xml");//读取HDFS的xml文件
45.  BufferedReader br=**new** BufferedReader(**new** InputStreamReader(fs.open(xml)));//获取输入流
46.  StringBuffer sb=**new** StringBuffer();//声明一个buffer对象用来存储xml文件内容
47.  String line; 
48.  line=br.readLine();//读取第一行
49.  sb.append(line);//追加到StringBuffer中
50. **while** (line != **null**)\{ 
51.  line=br.readLine();//循环读取
52.  sb.append(line);//循环追加
53.  \} 
54. // System.out.println(sb.toString());
55.  br.close();//释放资源
56.  Document d=Jsoup.parse(sb.toString(),"UTF-8");//解析xml
57.  Set<String> set=**new** HashSet<String>();//排除，不需要解析的文件
58.  List<Element> excludes=d.select("exclude"); 
59. **for**(Element ee:excludes)\{ 
60.  set.add(ee.text().trim()); 
61.  \} 
62. 
63.  List<Element> tables=d.select("type"); 
64. **for**(Element t:tables)\{ 
65.  String num=t.attr("num"); 
66.  String name=t.attr("name"); 
67.  String indexname=t.attr("indexname"); 
68. **if**(set.contains(name))\{ 
69.  log.info("跳过的表名："\+name); 
70. **continue**; 
71.  \} 
72. // System.out.println(" 序号: "+num+" 表名： "+name+" 索引名: "+indexname);
73.  Map<String, String> data=**new** TreeMap<String, String>(); 
74. **for**(Element s:t.select("map"))\{ 
75. // System.out.println("----------------------"+s.attr("pos")+" "+s.attr("field")+" "+s.attr(""));
76.  String pos=s.attr("pos");//位置信息
77.  String field=s.attr("field");//索引字段名
78.  data.put(pos, field); 
79.  \} 
80.  map.put(name, data);//将此表名对应的映射信息存储到map里
81.  \} 
82. 
83.  \}**catch**(Exception e)\{ 
84. //e.printStackTrace();
85.  log.error("加载映射文件异常!",e); 
86.  \} 
87. 
88.  \} 
89. 
90. 
91. **public** **static** **void** parseXml()**throws** Exception\{ 
92. 
93. 
94. 
95. 
96. 
97.  \} 
98. 
99. 
100. 
101. 
102. **public** **static** **void** main(String\[\] args) **throws** Exception\{ 
103.  System.out.println(); 
104. **for**(Entry<String, Map<String, String>> m:map.entrySet())\{ 
105.  System.out.println("表名："\+m.getKey()); 
106. // for(Entry<String, String> me:m.getValue().entrySet())\{ 
107. // System.out.println(me.getKey()+" "+me.getValue());
108. // \}
109. 
110. // System.out.println("==================================================");
111.  \} 
112.  \} 
113. 
114. 
115. \}

项目结构如下图：   
  
  
![fc7d44a4-164b-3c91-9796-a34ec9444be0.png][]   
  
Ant的打包脚本如下：

Java代码 ![收藏代码][icon_star.png]

1.  <project name="$\{component.name\}" basedir="." **default**="jar"> 
2.   <property environment="env"/> 
3.  
4.    
5.  
6.   <property name="hadoop.home" value="E:/hadooplib"/> 
7.    
8.   <property name="jar.name" value="searchrate.jar"/> 
9.   <path id="project.classpath"> 
10.  <fileset dir="lib"> 
11.  <include name="\*.jar" /> 
12.  </fileset> 
13.  <fileset dir="$\{hadoop.home\}"> 
14.  <include name="\*\*/\*.jar" /> 
15.  </fileset> 
16.  </path> 
17.  <target name="clean" > 
18.  <delete dir="bin" failοnerrοr="false" /> 
19.  <mkdir dir="bin"/> 
20.  </target> 
21.  <target name="build" depends="clean"> 
22.  <echo message="$\{ant.project.name\}: $\{ant.file\}"/> 
23.  <javac destdir="bin" encoding="utf-8" debug="true" includeantruntime="false" debuglevel="lines,vars,source"> 
24.  <src path="src"/> 
25.  <exclude name="\*\*/.svn" /> 
26.  <classpath refid="project.classpath"/> 
27.  </javac> 
28.  <copy todir="bin"> 
29.  <fileset dir="src"> 
30.  <include name="\*config\*"/> 
31.  </fileset> 
32.  </copy> 
33.  </target> 
34. 
35.  <target name="jar" depends="build"> 
36.  <copy todir="bin/lib"> 
37.  <fileset dir="lib"> 
38.  <include name="\*\*/\*.\*"/> 
39.  </fileset> 
40.  </copy> 
41.  <copy todir="bin/lib"> 
42.  <fileset dir="$\{hadoop.home\}"> 
43.  <include name="\*\*/\*.\*"/> 
44.  </fileset> 
45.  </copy> 
46. 
47.  <path id="lib-classpath"> 
48.  <fileset dir="lib" includes="\*\*/\*.jar" /> 
49.  </path> 
50. 
51.  <pathconvert property="my.classpath" pathsep=" " > 
52.  <mapper> 
53.  <chainedmapper> 
54.   
55.  <flattenmapper /> 
56.   
57.  <globmapper from="\*" to="lib/\*" /> 
58.  </chainedmapper> 
59.  </mapper> 
60.  <path refid="lib-classpath" /> 
61.  </pathconvert> 
62. 
63.  <jar basedir="bin" destfile="$\{jar.name\}" > 
64.  <include name="\*\*/\*"/> 
65.   
66.  <manifest> 
67.  <attribute name="Class-Path" value="$\{my.classpath\}" /> 
68.  </manifest> 
69.  </jar> 
70.  </target> 
71. </project>

至此，我们以及完成了，这个小项目的开发，最终回归当生产环境上，我们是需要打成jar包，在linux上定时执行的，直接使用linux环境来开发调试hadoop，遇到的问题会更少，虽然不推荐使用win直接开发hadoop程序，但是了解一些基本的方法和技巧，对我们来说也是一件不错的事情。

[071c8c24-835e-3484-8897-190629668a7d.png]: /images/20220805/1e176085dc224139921cc497c5f16d76.png
[Link 1]: http://qindongliang.iteye.com/blog/2162519
[Link 2]: http://qindongliang.iteye.com/blog/2078452
[00f97496-b51c-309c-bc0a-bc48fea8a187.png]: /images/20220805/0a600f9a1a274151b5c304ba029ffe73.png
[icon_star.png]: /images/20220805/977284231fec4e6da3d440c408ad9206.png
[fc7d44a4-164b-3c91-9796-a34ec9444be0.png]: /images/20220805/61c0c5100d97462fa9214b2ca4763a3e.png