strom环境搭建

Bertha 。 2022-05-15 12:40 237阅读 0赞

一、storm概念  
1 元组（tuple）

元组是Storm中消息传输的基本单元，是一个命名的值列表（List）。

元组支持所有基本类型、字符串、字节数组作为字段的值，只要实现类型的序列化接口就可以使用该类型的对象。

元组本来应该是一个Key-value的Map，但是由于组件之间传递的元组的字段名称已经事先定义好，所以只需要按照顺序，将值填入List即可。

2 流（Stream）

流是一个无序的元组序列。每个流被声明后都会赋予一个id，用于唯一识别这个流。

由于单个流的Spout和Bolt很多（Spout和Bolt都可以声明输出多个流，但是情况很少），因此，使用OutputFieldsDeclarer可以声明一个不指定id的流，这个时候，流被赋予了一个默认的id值（64位）。

3 喷口（Spout）

Spout是Storm的数据来源，一般Spout会从消息队列中读取数据。

Spout可以是可靠的，也可以是不可靠的。可靠的Spout会重发处理失败的元组，而不可靠的Spout选择遗忘。

nextTuple()是Spout的核心函数，Storm框架会不断调用这个函数，从外部读取tuple。

当一个元组被完全处理后，Storm调用Spout的ack()函数，否则调用fail()函数。

IRichSpout是Spout必须要实验的一个接口。

4 螺栓（Bolt）

Topology中的所有业务处理，都在Bolt中完成，比如数据的过滤、业务处理、存储等。

Bolt的关键函数是execute()，这个函数的主要功能是处理接收到的数据，发射0个或者多个基于当前元组的元组，然后应答输入元组（ack）。

5 拓扑（Topology）

拓扑就是Storm中真正在运行的程序，节点表示Spout或Bolt，完成数据处理；边表示数据的流动方式。

6 主控节点和工作节点

Storm集群中节点有两类：主控节点和工作节点。其中主控节点1个，工作节点多个。

主控节点上运行了一个称为Numbus的守护进程，负责在集群中分发代码，对节点分配任务，并监视主机故障。

工作节点上运行了一个称为Supervisor的守护进程，负责监听其主机上分配的作业，启动和停止已经分配的工作进程。

7 流分组（Stream grouping）

是拓扑定义的一部分，负责确定每个Bolt应该从哪个拓扑节点获取数据。

Storm内置7中流分组方式，此外，也可以通过实现CustomStreamGrouping接口，设计自定义的流分组方式。

8 工作进程（Worker）

worker在物理上，是一个JVM和拓扑中任务子集。

每一台服务器可以部署一个或者多个worker进程，每个 worker进程执行一个Topology中的部分任务。

9 任务（task）

worker中的每一个Spout或者Bolt线程（相当于Topology中的一个节点），称为一个任务。

Storm集群中，每个Spout或者Bolt执行很多任务，可以通过设置拓扑中每个Spout或Bolt的任务数（setNumTasks()），调整他们执行的任务数。

10 执行器（Executor）

Storm0.8之后，task不再和线程对应，多个task可以共享一个线程。

所以一台服务器可以部署多个worker进程；每个worker进程中可以有多个Executor（对应一个线程）；每个Executor中执行一个或者多个task。

Executor的个数，可以通过setSpout或者SetBolt中的并行度参数进行调整。

11 可靠性

Storm可以保证每一个Spout元组被完全处理，它跟踪每个Spout元组的元组树，当元组树中创建元组节点或者完成元组节点时，对应的组件（Spout或Bolt）会通知Storm。

当一个Spout元组没有在“消息超时时间”内完成时，Spout认为元组处理失败，并重发元组。  
二、环境要求  
JDK 1.6+  
Python 2.6.6+  
ZooKeeper3.4.5+  
storm 0.9.4+

--------------------

二、单机模式  
上传解压

[hadoop@master ~]$tar -zvxf apache-storm-0.9.4.tar.gz

[hadoop@master ~] cd apache-storm-0.9.4

$ ./bin/storm --help
    下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer
    $ ./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
    $ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
    $ ./bin/storm ui >> ./logs/ui.out 2>&1 &
    $ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
    $ ./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &

每一个进程都启动的很慢，稍等。

[hadoop@master apache-storm-0.10.0]$ jps
    39122 supervisor
    38756 dev_zookeeper
    38824 nimbus
    39035 core
    39439 Jps
    39167 logviewer

webUI查看storm状态 ，[http://master:8080][http_master_8080]  
提交任务到Storm集群当中运行：

$ ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology wordcount
    $ ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

--------------------

三、完全分布式安装部署  
各节点分配：  
Nimbus Supervisor Zookeeper  
node1 1 1  
node2 1 1  
node3 1 1

node1作为nimbus，  
开始配置

$ vim conf/storm.yaml

storm.zookeeper.servers:
      - "node1"   - "node2"   - "node3" 
    storm.local.dir: "/tmp/storm"
    
    nimbus.host: "node1"
    
    supervisor.slots.ports:
        - 6700     - 6701     - 6702     - 6703

$ mkdir logs

集群当中所有服务器，同步所有配置！（分发）

启动ZooKeeper集群

node1上启动Nimbus

$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
    $ tail -f logs/nimbus.log
    $ ./bin/storm ui >> ./logs/ui.out 2>&1 &
    $ tail -f logs/ui.log

节点node2和node3启动supervisor，按照配置，每启动一个supervisor就有了4个slots

$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
    $ tail -f logs/supervisor.log

（当然node1也可以启动supervisor）

http://node1:8080/

提交任务到Storm集群当中运行：

$ ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

环境变量可以配置也可以不配置