SparkStreamingj集成Kafka的几个重要参数

深碍√TFBOYSˉ_ 2022-07-11 07:50 140阅读 0赞

sparkstreaming集成kafka时的maven的pom依赖：

<dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
                <version>0.8.2.1/version>
            </dependency>

使用SparkStreaming集成kafka时有几个比较重要的参数：

（1）spark.streaming.stopGracefullyOnShutdown （true / false）默认fasle

确保在kill任务时，能够处理完最后一批数据，再关闭程序，不会发生强制kill导致数据处理中断，没处理完的数据丢失

（2）spark.streaming.backpressure.enabled （true / false） 默认false

开启后spark自动根据系统负载选择最优消费速率

（3）spark.streaming.backpressure.initialRate （整数） 默认直接读取所有

在（2）开启的情况下，限制第一次批处理应该消费的数据，因为程序冷启动 队列里面有大量积压，防止第一次全部读取，造成系统阻塞

（4）spark.streaming.kafka.maxRatePerPartition （整数） 默认直接读取所有

限制每秒每个消费线程读取每个kafka分区最大的数据量

注意：

只有（4）激活的时候，每次消费的最大数据量，就是设置的数据量，如果不足这个数，就有多少读多少，如果超过这个数字，就读取这个数字的设置的值

只有（2）+（4）激活的时候，每次消费读取的数量最大会等于（4）设置的值，最小是spark根据系统负载自动推断的值，消费的数据量会在这两个范围之内变化根据系统情况，但第一次启动会有多少读多少数据。此后按（2）+（4）设置规则运行

（2）+（3）+（4）同时激活的时候，跟上一个消费情况基本一样，但第一次消费会得到限制，因为我们设置第一次消费的频率了。

除此之外，还应该考虑程序容错性，这个跟checkpoint有关系散仙在前面的文章已经描述过具体请参考：[http://qindongliang.iteye.com/][http_qindongliang.iteye.com]

有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 技术债不能欠，健康债更不能欠， 求道之路，与君同行。

![输入图片说明][3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]

[http_qindongliang.iteye.com]: http://qindongliang.iteye.com/
[3214000f-5633-3c17-a3d7-83ebda9aebff.jpg]: /images/20220711/119ec55f876d4cdfa1efa45dcd27e737.png

发表评论取消回复

表情：

评论列表（有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

相关总结call_stub()中的几个重要参数

接着上一篇日志，先回顾下Java主函数调用时必须执行的call\_stub函数： static CallStub call_stub() {

水深无声/ 2023年02月16日 04:08/ 0 赞/ 40 阅读

相关 android 几个重要的文件目录

1、通过Context.getExternalFilesDir()方法可以获取到 SDCard/Android/data/你的应用的包名/files/ 目录，一般放一些长时间保

「爱情、让人受尽委屈。」/ 2022年09月25日 02:30/ 0 赞/ 292 阅读

相关程序员几个重要的网站

1.谷歌 2.csdn 3.msdn 4.博客园 5.github 6.stackoverflow 7.开源中国社区 8.apache 9.codeprojec

﹏ヽ暗。殇╰゛Y/ 2022年08月03日 08:21/ 0 赞/ 310 阅读

相关 MPI 几个重要的的API

MPI_Allreduce: 在之前的积分计算中，我们的方法是将最终结果汇聚到0号进程中，但是如何让每一个进程都能保存最终的结果呢？

蔚落/ 2022年07月11日 12:26/ 0 赞/ 378 阅读

相关 SparkStreamingj集成Kafka的几个重要参数

sparkstreaming集成kafka时的maven的pom依赖： <dependency> <groupId>org.apach

深碍√TFBOYSˉ_/ 2022年07月11日 07:50/ 0 赞/ 141 阅读

相关 vim编辑器重要的几个快捷键

/pattern：从光标开始处向文件尾搜索pattern ?pattern：从光标开始处向文件首搜索pattern n：在同一方向重复上一次搜索命令 N：在反方向上

你的名字/ 2022年07月05日 15:05/ 0 赞/ 329 阅读

相关 Netty的几个重要组件

今天了解一下 Netty都有哪些组件，这些组件都分别承担着什么职能： Bootstrap or ServerBootstrap EventLoop Even

痛定思痛。/ 2022年06月16日 07:18/ 0 赞/ 374 阅读

相关 HTTP的几个重要概念

1，连接：Connection 一个传输层的实际环流，它是建立在两个相互通讯的应用程序之间。在http1.1，request和reponse头中都有可能出现一个con

我就是我/ 2022年05月13日 11:26/ 0 赞/ 328 阅读

相关 SparkStreamingj集成Kafka的几个重要参数

\[img\]http://dl2.iteye.com/upload/attachment/0122/7173/fb8db43b-7cad-309b-ade5-8b89f8af

「爱情、让人受尽委屈。」/ 2022年04月11日 12:28/ 0 赞/ 156 阅读

相关重要的几个系统监控命令

　![1624714-20190526083543344-561569187.png][] 转载于:https://www.cnblogs.com/King-boy/p

我不是女神ヾ/ 2021年12月13日 13:03/ 0 赞/ 350 阅读