python自动化部署hadoop集群_在hadoop上运行python程序

小咪咪 2022-11-01 00:51 326阅读 0赞

在hadoop上运行python程序

准备文件

测试文件test.txt (/home/hadoop/input/test.txt)

mapper.py (/home/hadoop/input/code/mapper.py)

reducer.py (/home/hadoop/input/code/reducer.py)

以上文件的存放路径可以自己定义，这里是以我的目前操作环境来进行教程，请自行对照替换路径

我的HADOOP\_HOME是/home/hadoop/hadoop-1.0.4

1.配置好你的hadoop分布式集群

2.请在你的系统变量中配置好HADOOP\_HOME为hadoop文件夹根目录

3.启动hdfs和mapreducer

start-all.sh

4.将你用作测试的输入文件存放到hdfs上(当然是在master主机上操作啦)

\#c创建input文件夹存放测试文件

hadoop dfs -mkdir hdfs://master:9000/user/hadoop/input

\#将本地的文件发送到hdfs

hadoop dfs -copyFromLocal /home/hadoop/input/test.txt hdfs://master:9000/user/hadoop/input

5.开始运行你的python程序

\#hadoop1.x版本

hadoop jar $HADOOP\_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar \\

\-mapper 'python mapper.py' -file /home/hadoop/code/mapper.py\\

\-reducer 'python reducer.py' -file /home/hadoop/code/reducer.py \\

\-input hdfs://master:9000/input/\* -output hdfs://master:9000/output

$HADOOP\_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar

它是个java程序，先运行这个程序，它会创建进程运行运行你的python程序，hadoop能运行所有语言的程序都依赖于它.

\-mapper 'python mapper.py'

mapper后面跟的是个命令，用于启动你的程序

\-file /home/hadoop/code/mapper.py

file指明了你的程序所在的路径，以便分发到所有的slave机器上运行

input指明了输入文件的路径，它会读取input目录下的所有文件，由标准输入的方式传送给你的程序

output指明的输出结果的存放路径，它会自动创建该路径，所以请不要指向一个已经存在的文件夹，否则会报错

HIVE

使用命令schematool -initSchema -dbType mysql初始化mysql数据库 hive

发表评论取消回复

表情：

评论列表（有 0 条评论，326人围观）

还没有评论，来说两句吧...

相关阅读

相关在Hadoop上运行Python的完整指南

Python是一种广泛使用的编程语言，具有简单易用和丰富的生态系统。而Hadoop是一个用于处理大规模数据的分布式计算框架。将Python与Hadoop结合起来使用，可以充分发

深碍√TFBOYSˉ_/ 2024年03月02日 02:23/ 0 赞/ 72 阅读

相关 AMBARI部署HADOOP集群（4）

[通过 Ambari 部署 hadoop 集群][Ambari _ hadoop] 1. 打开 http://192.168.242.181:8080 登陆的用户名/密

╰半橙微兮°/ 2023年06月05日 12:41/ 0 赞/ 44 阅读

相关 AMBARI部署HADOOP集群（3）

1. 安装ambari-server yum -y install ambari-server 2. ambari server 需要一个数据库存储元数据，默认使用

骑猪看日落/ 2023年06月05日 12:41/ 0 赞/ 52 阅读

相关 ambari部署Hadoop集群（1）

本例使用hortonworks 提供了 ambari 的安装方法，而且还很详细。以下是在 centos7 上的安装步骤。基础配置： 1. 修改电脑的主机名 ho

我就是我/ 2023年06月05日 12:41/ 0 赞/ 42 阅读

相关 python自动化部署hadoop集群_在hadoop上运行python程序

在hadoop上运行python程序准备文件测试文件test.txt (/home/hadoop/input/test.txt) mapper.py (/home/h

小咪咪/ 2022年11月01日 00:51/ 0 赞/ 327 阅读

相关 Hadoop系列(一)Docker部署Hadoop集群

搭建一个Hadoop集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机。安装操作系统是个不太轻松的任务，并且运行多个

偏执的太偏执、/ 2022年05月27日 11:27/ 0 赞/ 272 阅读

相关 Hadoop集群环境部署

Hadoop 压缩/解压插件 lzo安装说明 1、所需软件 apache-ant-1.8.0-bin.tarant编译工具，必须大于1.7版本，否则有些属性不支持 k

「爱情、让人受尽委屈。」/ 2022年03月28日 15:54/ 0 赞/ 456 阅读

相关 Hadoop集群环境部署_lzo

hadoop [压缩][Link 1]/ [解压][Link 2]插件 lzo安装说明 1、所需软件 apache-ant-1.8.0-bin.tar ant编译

向右看齐/ 2022年03月28日 15:53/ 0 赞/ 512 阅读

相关 Eclipse编译、Hadoop集群运行MapReduce程序

本文介绍的是如何在Windows中使用Eclipse来开发MapReduce程序，并打包成jar包在已经搭建好的hadoop集群环境上运行。环境 Windows

我不是女神ヾ/ 2022年03月14日 11:40/ 0 赞/ 432 阅读

相关 hadoop集群部署(yarn)

伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeepe

野性酷女/ 2021年09月25日 19:54/ 0 赞/ 586 阅读