CentOS7下storm1.0.2集群搭建

柔光的暖阳◎ 2022-05-16 10:54 196阅读 0赞

## **CentOS7搭建storm1.0.2完全分布式** ##

**这里搭建的是3个节点的完全分布式，即1个nimbus，2个supervisor，分别如下：**

**CentOS-master   nimbus      192.168.11.128**

**CentOS-node1   supervisor    192.168.11.131**

**CentOS-node2   supervisor    192.168..11.132**

1.三个虚拟机的创建步骤这里就不再详细讲解，具体参照hadoop2.7.3完全分布式的搭建，这里直接用那3台虚拟机，包括主机名，hosts文件，ssh配置，这里就不再重复做，首先打开master主机

![70][]

2.在这之前，还是要安装zookeeper、zeroMq、jzmq和python，具体请参照之前的文档

3.输入 mkdir /usr/local/storm建立storm目录

![70 1][]

4.将下载好的tar包放到该目录

![70 2][]

5.进入该目录，输入解压命令，解压tar包

![70 3][]

6.进入storm的conf目录，输入 vi storm.yaml 修改配置文件

![70 4][]

7.在文件末尾加入以下内容，标红部分要根据自己实际情况调整，标蓝部分不要跟其他端口冲突就行，保存并退出。。。。。。。。storm.zookeeper.servers表示zookeeper服务的IP，storm.zookeeper.port表示zookeeper服务的端口号，nimbus.host表示nimbus节点对应的主机IP，supervisor.slots.ports表示supervisor节点上能够运行的端口列表，每个端口运行一个Worker，通过这个配置可以调整机器上的Worker数量

<table style="width:605px;"> 
 <tbody> 
 <tr> 
 <td style="width:604px;"> storm.zookeeper.servers: &nbsp; - "master" &nbsp; - "node1" &nbsp; - "node2" storm.zookeeper.port: 2181 #nimbus.host: "master" nimbus.seeds: ["master","node1"] supervisor.slots.ports: &nbsp; - 6700 &nbsp; - 6701 &nbsp; - 6702 &nbsp; - 6703 storm.local.dir: "/usr/local/storm" </td> 
 </tr> 
 </tbody> 
</table>

![70 5][]

8.在每个node节点上输入 mkdir /usr/local/storm 建目录

![70 6][]

![70 7][]

9.在master主机上，任意目录输入 scp -r /usr/local/storm/apache-storm-1.0.2/ root@node1:/usr/local/storm/apache-storm-1.0.2/

![70 8][]

10.在master主机上，任意目录输入 scp -r /usr/local/storm/apache-storm-1.0.2/ root@node2:/usr/local/storm/apache-storm-1.0.2/

![70 9][]

11.要保证zookeeper集群处于开启状态，再做这步，在master主机上，进入storm的bin目录，输入 ./storm nimbus >/dev/null 2>&1 & 启动并在后台运行主节点

![70 10][]

12.在master主机上，进入storm的bin目录，输入 ./storm ui >/dev/null 2>&1 & 启动并在后台运行ui节点

![70 11][]

13.在node1主机上，进入storm的bin目录，输入 ./storm supervisor >/dev/null 2>&1 & 启动并在后台运行supervisor节点

![70 12][]

14.在node2主机上，进入storm的bin目录，输入 ./storm supervisor >/dev/null 2>&1 & 启动并在后台运行supervisor节点

15.此时可以通过浏览器访问master的8080端口，查看storm运行情况

![70 13][]

16.在master主机上，

进入storm的bin目录，输入 ./storm jar /usr/local/storm/apache-storm-1.0.2/examples/storm-starter/storm-starter-topologies-1.0.2.jar storm.starter.StatefulTopology StatefulTopology 运行storm的Topology例子程序， ./storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3 启动Storm Topology，Topology启动后永远会运行，这是它与MapReduce的区别，MapReduce最终总会结束。。。其中，storm-starter-topologies-1.0.2.jar是包含Topology实现代码的jar包，storm.starter.StatefulTopology方法是Topology的入口，StatefulTopology为storm.starter.StatefulTopology执行时需要传入的参数

![70 14][]

17.测试成功

![70 15][]

18.通过浏览器访问 IP:8080 查看storm运行情况，可以看到刚运行完的例子程序

![70 16][]

[70]: /images/20220516/e1af31b97a534d6fbca3f22dd0d1afe8.png
[70 1]: /images/20220516/2b0f65e5ef454316b1df3c2284c77567.png
[70 2]: /images/20220516/25ad21fac9a949fea855d77e46888d91.png
[70 3]: /images/20220516/145f4fa221d044d5b3996a77bbbba99b.png
[70 4]: /images/20220516/2cd9cbb892fc4afd82c050b3561d57f4.png
[70 5]: /images/20220516/091e3fffc3034384b4f6de177b86b62d.png
[70 6]: /images/20220516/66ae16a468a94be9ab823fd8b371f5de.png
[70 7]: /images/20220516/a5918597d9fc4bf5a53cfc2ec82cf838.png
[70 8]: /images/20220516/e33b5ee99edb4b978fc57ee88e2c2f70.png
[70 9]: /images/20220516/9fefe1e684454cafb7fd2bd9b933ef37.png
[70 10]: /images/20220516/34198fe7e6d04f88999b948d769a5b9f.png
[70 11]: /images/20220516/e4589f5bc2c8468480890ac9f1becf8d.png
[70 12]: /images/20220516/e97f02ee34094ca1ab1aecf5c5f4e401.png
[70 13]: /images/20220516/4a30e86c59544d699f69c24358d6b578.png
[70 14]: /images/20220516/33726ca3931b426db62df7e633b6042e.png
[70 15]: /images/20220516/97ed22b2e4f9412e8d3019a133bf19fd.png
[70 16]: /images/20220516/f7cde1fc48454c9eb1fe3472ba3b7637.png