Flume个人心得笔记之Selector安装

朱雀 2021-12-17 01:23 358阅读 0赞

#                  Flume个人心得笔记之Selector安装 #

一.复制模式

一、概述

二、 可配置选项说明

三、示例

二.多路复用模式

一、概述

二、可配置选项说明

三、示例

1.概述

2.配置第一个节点配置

3.启动

4.发送数据

5.接收数据

--------------------

# 一.复制模式 #

## 一、概述 ##

1.  Selector 默认是复制模式(replicating)，即把source复制，然后分发给多个sink

## 二、 可配置选项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.4284in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:5.5416in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.4284in;"> selector.type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:5.5416in;"> replicating &nbsp;表示复制模式，source的selector如果不配置，默认就是这种模式 在复制模式下，当source接收到数据后，会复制多分，分发给每一个avro sink </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.4284in;"> selector.optional </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:5.5416in;"> 标志通道为可选 </td> 
 </tr> 
 </tbody> 
</table>

## 三、示例 ##

**默认配置，略**

# 二.多路复用模式 #

## 一、概述 ##

1.  在这种模式下，用户可以指定转发的规则。selector根据规则进行数据的分发

## 二、可配置选项说明 ##

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.7125in;"> 配置项 </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.3138in;"> 说明 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.7125in;"> selector.type </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.3138in;"> multiplexing&nbsp; 表示路由模式 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.7125in;"> selector.header </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.3138in;"> 指定要监测的头的名称 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.7125in;"> selector.mapping.* </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.3138in;"> 匹配规则 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:1.7125in;"> selector.default&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </td> 
 <td style="border-color:#a3a3a3;vertical-align:top;width:3.3138in;"> 如果未满足匹配规则，则默认发往指定的通道 </td> 
 </tr> 
 </tbody> 
</table>

## 三、示例 ##

### **1.概述** ###

**01机利用http source接收数据，根据路由规则，发往02，03机。02，03通过avro source接收数据，通过logger sink 打印数据**

### **2.配置第一个节点配置** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70][]

**2，3节点无需改动，默认扇出配置即可**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1][]

### 3.启动 ###

![20190706201232471.png][]

### 4.发送数据 ###

![2019070620160018.png][]

### **5.接收数据** ###

![20190706201616503.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70]: /images/20211214/ba5d189ff34c48bbb8f4d1f0e7f0e27d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xpdVk1MjE_size_16_color_FFFFFF_t_70 1]: /images/20211214/b925eb70619c4b3086113176321af045.png
[20190706201232471.png]: /images/20211214/60c5cf44453f47bb8f885da5ab5eaa1e.png
[2019070620160018.png]: /images/20211214/de7a8bdb0101461e9093d73165c7be29.png
[20190706201616503.png]: /images/20211214/0fa8652e07ee48438f2378bbaee57378.png