springboot整合kafka和mongodb

￡神魔★判官ぃ 2022-12-23 15:23 144阅读 0赞

第一步：

添加kafka和mongodb的架包

(kafka版本根据自己的spring版本去匹配，mongodbd的架包跟据springboot的版本匹配，maven版本匹配地址[https://mvnrepository.com/][https_mvnrepository.com])

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 1][]

第二步：

下载kafka地址：[Apache Kafka][]（新版kafka包含zookeeper，不用再下载zookeeper）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 2][]

解压后在安装目录下启动zookeeper和kafka

启动zookeeper和kafka命令  
.\\bin\\windows\\zookeeper-server-start.bat  .\\config\\zookeeper.properties  
.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 3][]

![20201125165527264.png][]

第三步：

下载mongodb地址：[MongoDB Community Download | MongoDB][MongoDB Community Download _ MongoDB]

安装后，在MongoDB所在盘的根目录下建data\\db文件;例如：D:\\data\\db；双击下图mongod.exe启动

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 4][]

配置application.properties
    # mongodb 
    spring.data.mongodb.uri=mongodb://localhost:27017/admin
    
    spring.application.name=kafka-user
    #===================kafka================
    spring.kafka.bootstrap-servers=localhost:9092
    # 发生错误后，消息重发的次数。
    spring.kafka.producer.retries=0
    #当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算。
    spring.kafka.producer.batch-size: 16384
    # 设置生产者内存缓冲区的大小。
    spring.kafka.producer.buffer-memory: 33554432
    # 键的序列化方式
    spring.kafka.producer.key-serializer: org.apache.kafka.common.serialization.StringSerializer
    # acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。
    # acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。
    # acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。
    spring.kafka.producer.acks=1
    # 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式，如1S,1M,2H,5D
    spring.kafka.consumer.auto-commit-interval=1s
    # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：
    # latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）
    # earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录
    spring.kafka.consumer.auto-offset-reset=earliest
    # 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
    spring.kafka.consumer.enable-auto-commit=false
    # 键的反序列化方式
    spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    # 值的反序列化方式
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    
    spring.kafka.consumer.group-id=topic.group1
    # 在侦听器容器中运行的线程数。
    spring.kafka.listener.concurrency=5
    #listner负责ack，每调用一次，就立即commit
    spring.kafka.listener.ack-mode=manual_immediate
    spring.kafka.listener.missing-topics-fatal=false

[https_mvnrepository.com]: https://mvnrepository.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70]: /images/20221120/dff43ebeb66a450ea83cdb73e55f5edd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 1]: /images/20221120/d9261ee5e9524b95bb6d5aa1119f9e83.png
[Apache Kafka]: http://kafka.apache.org/downloads
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 2]: /images/20221120/785d06ba28a149f88b9da8e48cb32ee2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 3]: /images/20221120/e974a59cfe6e4e20a1a204f274a7e1fa.png
[20201125165527264.png]: /images/20221120/ab06d46a7bf34b90bcd51caa88a8a6c0.png
[MongoDB Community Download _ MongoDB]: https://www.mongodb.com/download-center/community
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NDEwNzk1_size_16_color_FFFFFF_t_70 4]: /images/20221120/fb061507ca884a7ca58ee64a41776912.png