二十四、Hadoop Standalone Operation（Hadoop单机模式）

清疚 2022-05-08 13:03 113阅读 0赞

#         Hadoop Standalone Operation（Hadoop单机模式） #

### 1、单机模式之grep案例 ###

官方案例地址：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

[admin@hadoop11 hadoop-2.7.2]$ pwd
    /opt/module/hadoop-2.7.2
    [admin@hadoop11 hadoop-2.7.2]$ mkdir input
    [admin@hadoop11 hadoop-2.7.2]$ cp etc/hadoop/*.xml input
    [admin@hadoop11 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
    [admin@hadoop11 hadoop-2.7.2]$ cat output/*
    1	dfsadmin
    [admin@hadoop11 ouput]$ ll
    总用量 4
    -rw-r--r--. 1 admin admin 11 10月 11 22:40 part-r-00000           #结果文件
    -rw-r--r--. 1 admin admin  0 10月 11 22:40 _SUCCESS               #成功执行的标识文件

### 2、命令解析 ###

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
    
    bin/hadoop                                                     这是一个hadoop命令
    jar                                                            这个命令在jar包内
    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar     jar包的具体位置
    grep                                                           调用的函数名
    input                                                          计算统计的文件来源自input文件夹
    output                                                         计算结果输出到output文件夹
    'dfs[a-z.]+'                                                   匹配的正则表达式

### 3、单机模式之workcount案例 ###

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹  
2）在wcinput文件下创建一个wc.input文件  
3）编辑wc.input文件  
4）回到hadoop目录/opt/module/hadoop-2.7.2  
5）执行程序  
6）查看结果

[admin@hadoop11 hadoop-2.7.2]$ mkdir wcinput
    [admin@hadoop11 hadoop-2.7.2]$ cd wcinput/
    [admin@hadoop11 wcinput]$ vim wc.input              #输入一篇文章
    [admin@hadoop11 wcinput]$ cd ..
    #调用workcount函数计算wcinput 文件夹中所有文件各个单词的个数，结果写入wcoutput文件夹
    [admin@hadoop11 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220508/f40601e5a54643bd85841d2e4f9035b3.png