【Confluent】Confluent入门简介

偏执的太偏执、 2022-12-20 01:26 168阅读 0赞

# 简介 #

基于kafka的实时数据通道  
Confluent一个是企业版（付费）试用30天，一个是开源版（免费）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ2OTY4MA_size_16_color_FFFFFF_t_70_pic_center]

Confluent让我们可以将数据用作不断更新的时间流，而不是离快照，大部分世界100强企业都用事件流，其中用confluent的占大多数。Confluent是基于Kafka构造的，它提供单一平台给实时和历史时间，构建全新类别的事件驱动应用程序并获取通用事件管道。

通过Confluent我们能非常容易的构建出一条实时数据管道，将来自不同的数据源整合到Streaming Application中来服务于我们。Confluent让我们将关注点集中在数据本身以及它身后的价值，而不必过多的担心各个系统与机器之间的数据传输。重要的是，confluent简化了连接到kafka的数据源，能更好地使用Kafka构建应用程序，保护、监控和管理kafka基础架构。

confluent可以用于收集用户活动数据，系统日志，应用程序指标，股票行情数据和设备工具信号。

## Confluent Control Center ##

confluent control center（控制中心）让我们很容易地管理kafka的连接，创建，编辑，和管理与其他系统的连接。我们可以从producer到consumer监控data streams，保证我们的每一条消息都被传递，还能测量出消息的传输耗时多久。使用confluent control center能让开发人员不写一句代码，也能构建基于kafka的数据生产管道。

## Confluent Replicator（数据复制与迁移） ##

Confluent Platform使我们可以比以往更轻松地在多个数据中心内维护多个Kafka群集。 管理数据中心之间的数据复制和topic配置，比方说：

ative-active地理定位部署：允许用户访问最近（附近）的数据中心，以优化其架构，实现低延迟和高性能

集中分析：将来自多个Kafka集群的数据聚合到一个地方，以进行组织范围的分析

云迁移：可以使用kafka完成本地应用与云之间的数据迁移

我们可以利用Confluent Replicator从Confluent Control Center或CLI工具配置管理所有这些方案的复制。

## Confluent Auto Data Balancer（解决负载均衡） ##

随着集群的增长，topic和partition以不同的速度增长，随着时间的推移，添加和删除会导致跨数据中心资源的工作负载不平衡。 有一些brokers是空闲的（数据倾斜），而其他brokers则对大量或多个partitions负载，从而减慢了消息传递的速度。 当执行时，Confluent Auto Data Balancer会监控您的群集中的broker数量，partition大小，partition数量以及群集中的broker数量。 它允许我们转移数据以在整个群集中创建均匀的工作负载，同时限制重新平衡流量，以最大限度地减少重新平衡时对生产工作负载的影响。

## Confluent JMS Client（消息服务） ##

Confluent Platform包含适用于Kafka的JMS兼容客户端。通过用Kafka替换旧的JMS消息代理，现有的应用程序可以与我们的现代流式平台集成，而无需重新编写应用程序。

## Confluent Security Plugins（安全身份验证） ##

目前，有一个可用于Confluent REST Proxy的插件，它有助于验证传入的请求并将经过身份验证传到kafka请求。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzQ2OTY4MA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/e7aa16046a154735a17b3e9f999db2a1.png