Got fetch request with offset out of range(kafka-storm)

深碍√TFBOYSˉ_ 2022-05-24 10:52 94阅读 0赞

Got fetch request with offset out of range  
解决办法：  
spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个  
spoutConfig.ignoreZkOffsets=true; //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

SpoutConfig spoutConfig = new SpoutConfig(brokerHosts, topicName, "", null==id||"".equals(id)?"defaultId":id);
            spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
            spoutConfig.zkServers = Arrays.asList("47.97.63.1");
            spoutConfig.zkPort = Integer.valueOf("2181");
            //spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个
            spoutConfig.ignoreZkOffsets=true;  //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

原因，参考[https://blog.csdn.net/qq\_15581405/article/details/54571085][https_blog.csdn.net_qq_15581405_article_details_54571085]  
storm启动的时候，默认是从头读取-2，当kafkaspout的task出错时候，会重新启动，这时候offset就会从zk中最老的offset，但kafka数据只会保存一段时间，从zk中读取的offset的数据可能已经不存在，超过现在的范围。  
kafkaspout读取的3种选项  
\-2: 从最老的开始读  
\-1: 从最近的开始读  
0: 从Zk中读

[https_blog.csdn.net_qq_15581405_article_details_54571085]: https://blog.csdn.net/qq_15581405/article/details/54571085

发表评论取消回复

表情：

评论列表（有 0 条评论，94人围观）

还没有评论，来说两句吧...

相关阅读

相关 oci_fetch_array() with DATE columns

`<?php $conn = oci_connect('hr', 'welcome', 'localhost/XE'); if (!$conn) { $e = oci_erro

怼烎@/ 2023年10月18日 21:15/ 0 赞/ 5 阅读

相关 Resource is out of sync with the file system

转自：[https://www.cnblogs.com/phonecom/p/f356bc87259bfda84ec82bdec7681119.html][https_www.

àì夳堔傛蜴生んèń/ 2023年10月09日 10:02/ 0 赞/ 33 阅读

相关【踩坑】RuntimeError: index out of range: Tried to access index 30522 out of table with 30521 rows.

![huggingface-torch-bert][] 使用[huggingface][]下载torch版本的bert-base-chinese预训练模型，格式如上图。

向右看齐/ 2022年12月09日 03:30/ 0 赞/ 132 阅读

相关 Parameter index out of range (1 > number of parameters, which is 0).] with r

遇到Parameter index out of range (1 > number of parameters, which is 0)怎么办？ 2011年05月12日

r囧r小猫/ 2022年08月18日 00:43/ 0 赞/ 29 阅读

相关 Get data out of excel and into R with readxl

(This article was first published on [RStudio Blog][], and kindly contributed to [R-blo

待我称王封你为后i/ 2022年08月07日 14:47/ 0 赞/ 215 阅读

相关 Git: This branch is out-of-date with the base branch

有时候在你提交自己的branch后，会出现这样的情况： ![这里写图片描述][70] 如果是这样的话，那就说明该branch已经过时了，并且即使通过了所有的检测

青旅半醒/ 2022年05月28日 02:41/ 0 赞/ 310 阅读

相关 offset of 和 container of 解析

在Linux源码中，经常看到大名鼎鼎offsetof 和 container of 的宏定义，这里就此进行解析，并做了实验验证用途，仅用于自己参考记录。 1. of

太过爱你忘了你带给我的痛/ 2022年05月25日 14:07/ 0 赞/ 172 阅读

相关 Got fetch request with offset out of range(kafka-storm)

Got fetch request with offset out of range 解决办法： spoutConfig.forceFromStart = true;

深碍√TFBOYSˉ_/ 2022年05月24日 10:52/ 0 赞/ 95 阅读

相关 Mysql Got packets out of order

MySqlBulkLoader 批量導入時Exception:Got packets out of order 解決方案: 1.導入分批 10萬做一次分批,不要採用MySq

旧城等待，/ 2022年05月09日 09:24/ 0 赞/ 159 阅读

相关 linux out of memory

linux out of memery killer 今早登录虚拟 oracle 服务器出现如下报错 Apr 18 08:35:56 primer kerne

逃离我推掉我的手/ 2021年11月09日 10:24/ 0 赞/ 343 阅读