Hadoop2.x实战：WordCount实例运行

逃离我推掉我的手 2021-09-11 00:18 526阅读 0赞 
  1.   摘要：本文主要讲了hadoop2.7.2自带的WordCount实例运行
  3.   操作系统:Ubuntu14.04
  5.   hadoop版本：2.7.2

实例测试wordCount

1、启动hadoop

  1. /usr/hadoop/hadoop-2.7.2/sbin
  2. ./start-dfs.sh 
  3. ./start-yarn.sh

输入Jps如下，说明启动成功

20160619152856431

2、新建一个目录 

  1. cd /usr/hadoop/hadoop-2.7.2
  2. hadoop fs -mkdir /input

当前在hadoop的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面 

  1. hadoop fs -put LICENSE.txt /input

3、查看文件是否正确传入到/input目录下 

  1. hadoop fs -ls /input

20160619153026356

4、查看文件内容 

  1. hadoop fs -cat /input/LICENSE.txt

20160619153243734

5、执行 

  1. cd /usr/hadoop/hadoop-2.7.2/share/hadoop/mapreduce
  2. hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output2

如果卡在mapreduce.Job: Running job
在etc/hadoop/mapred-site.xml中，将配置改成如下内容，然后重新执行 

  1. <configuration>
  2. <property>
  3. <name>mapred.job.tracker</name>
  4. <value>hmaster:9001</value>
  5. </property>
  6. </configuration>

执行结束后输出：

20160619153535489

20160619153613054

6、查看输出结果的目录

hadoop fs -ls /output

20160619153634365

表示在input目录下已经有了一个名为output2的文件目录

7、查看最终运行结果 

  1. hadoop fs -cat /output2//part-00000

20160619153715945

发表评论

表情：
评论列表 （有 0 条评论，526人围观）

还没有评论，来说两句吧...

相关阅读