Got fetch request with offset out of range(kafka-storm)

深碍√TFBOYSˉ_ 2022-05-24 10:52 67阅读 0赞

Got fetch request with offset out of range  
解决办法：  
spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个  
spoutConfig.ignoreZkOffsets=true; //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

SpoutConfig spoutConfig = new SpoutConfig(brokerHosts, topicName, "", null==id||"".equals(id)?"defaultId":id);
            spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
            spoutConfig.zkServers = Arrays.asList("47.97.63.1");
            spoutConfig.zkPort = Integer.valueOf("2181");
            //spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个
            spoutConfig.ignoreZkOffsets=true;  //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

原因，参考[https://blog.csdn.net/qq\_15581405/article/details/54571085][https_blog.csdn.net_qq_15581405_article_details_54571085]  
storm启动的时候，默认是从头读取-2，当kafkaspout的task出错时候，会重新启动，这时候offset就会从zk中最老的offset，但kafka数据只会保存一段时间，从zk中读取的offset的数据可能已经不存在，超过现在的范围。  
kafkaspout读取的3种选项  
\-2: 从最老的开始读  
\-1: 从最近的开始读  
0: 从Zk中读

[https_blog.csdn.net_qq_15581405_article_details_54571085]: https://blog.csdn.net/qq_15581405/article/details/54571085

发表评论取消回复

表情：

评论列表（有 0 条评论，67人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysqloffset什么意思_MySQL中OFFSET和FETCH的详解

OFFSET & FECTH 关键字与ORDER BY结合使用，实现对查询结果的分页一、单独使用OFFSET: 示例：查询所有职员的信息，按雇佣日期排序并跳过前285条记

阳光穿透心脏的1/2处/ 2022年12月31日 15:19/ 0 赞/ 139 阅读

相关【踩坑】RuntimeError: index out of range: Tried to access index 30522 out of table with 30521 rows.

![huggingface-torch-bert][] 使用[huggingface][]下载torch版本的bert-base-chinese预训练模型，格式如上图。

向右看齐/ 2022年12月09日 03:30/ 0 赞/ 99 阅读

相关 Get data out of excel and into R with readxl

(This article was first published on [RStudio Blog][], and kindly contributed to [R-blo

待我称王封你为后i/ 2022年08月07日 14:47/ 0 赞/ 168 阅读

相关 Git: This branch is out-of-date with the base branch

有时候在你提交自己的branch后，会出现这样的情况： ![这里写图片描述][70] 如果是这样的话，那就说明该branch已经过时了，并且即使通过了所有的检测

青旅半醒/ 2022年05月28日 02:41/ 0 赞/ 233 阅读

相关 offset of 和 container of 解析

在Linux源码中，经常看到大名鼎鼎offsetof 和 container of 的宏定义，这里就此进行解析，并做了实验验证用途，仅用于自己参考记录。 1. of

太过爱你忘了你带给我的痛/ 2022年05月25日 14:07/ 0 赞/ 127 阅读

相关 Got fetch request with offset out of range(kafka-storm)

Got fetch request with offset out of range 解决办法： spoutConfig.forceFromStart = true;

深碍√TFBOYSˉ_/ 2022年05月24日 10:52/ 0 赞/ 68 阅读

相关 Mysql Got packets out of order

MySqlBulkLoader 批量導入時Exception:Got packets out of order 解決方案: 1.導入分批 10萬做一次分批,不要採用MySq

旧城等待，/ 2022年05月09日 09:24/ 0 赞/ 119 阅读

相关 out of office ,out of the office,OOO的区别和联系

out of the office 离任；下班表示人在公司上班，但是本人现在不在公司里面，可能出去有事了 out of off

水深无声/ 2022年01月23日 07:53/ 0 赞/ 571 阅读

相关 Create XML Files Out Of SQL Server With SSIS And FOR XML Syntax

So you want to spit out some XML from SQL Server into a file, how can you do that? There

男娘i/ 2022年01月06日 05:57/ 0 赞/ 128 阅读

相关 linux out of memory

linux out of memery killer 今早登录虚拟 oracle 服务器出现如下报错 Apr 18 08:35:56 primer kerne

逃离我推掉我的手/ 2021年11月09日 10:24/ 0 赞/ 286 阅读