CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决

约定不等于承诺〃 2022-06-06 02:29 205阅读 0赞

简介：

CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。

PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址： [https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn\_consolidated\_pcm.html\#pcm\_kafka][https_www.cloudera.com_documentation_enterprise_release-notes_topics_rn_consolidated_pcm.html_pcm_kafka]   ，这里截图：

![Image 1][]

![Center][]

由于我的CDH是5.11，所以只支持kafka2.1.x的，所以我安装的就是这个版本

一。安装准备：

所需软件：

①kafka csd包,下载地址： [http://archive.cloudera.com/csds/kafka/][http_archive.cloudera.com_csds_kafka]

![Image 1][]

![Center 1][]

②kafka parcel包：

地址： [http://archive.cloudera.com/kafka/parcels/latest/][http_archive.cloudera.com_kafka_parcels_latest]，根据操作系统，下载对应的包

![Image 1][]

![Center 2][]

二。开始安装

1.上传kafka。

注意，以下操作，需要在你CDH的所有机器执行，不然待会检测不到。

①上传CSD包KAFKA-1.2.0.jar，到服务器CDH目录下，路径为/opt/cloudera/csd

![Center 3][]

![Image 1][]

②上传parcel包中的那3个文件，到目录/opt/cloudera/parcel-repo下，注意如果有文件重名，如manifest那个文件，把以前的重命名为其他名字

![Image 1][]

![Center 4][]

2.分配，激活

进入CDH的管理界面，点击主机->parcel->检查新parcel

![Image 1][]

![Center 5][]

如果成功，则会看到你的kafka一项，并且有分配按钮，点击分配，等待，然后分配按钮编程激活按钮，点击激活，等待，操作成功后如下

![Center 6][]

![Image 1][]

OK，kafka安装完成

三。善后工作

安装完成后，便可以在添加服务里，添加kafka服务了。这里如果遇到最后一步，启动kafka的时候，失败报错如下：

Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) at kafka.log.LogCleaner

anonfun$1.apply(LogCleaner.scala:83)atkafka.log.LogCleaner

anonfun$1.apply(LogCleaner.scala:83)

这是因为 Java Heap Size配置小了（奇怪的是安装kafka的时候它也没提示我设置啊，简直怪了），这里如下解决：

回到CDH主页面，点击kafka，进入配置页面，修改 Java Heap Size of Broker为1G，如下：，然后保存，重启KAFKA，OK，这下终于好了

![Center 7][]

[https_www.cloudera.com_documentation_enterprise_release-notes_topics_rn_consolidated_pcm.html_pcm_kafka]: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka
[Image 1]: 
[Center]: /images/20220606/8a9ede0b6cd74e7da42f6238d8595378.png
[http_archive.cloudera.com_csds_kafka]: http://archive.cloudera.com/csds/kafka/
[Center 1]: /images/20220606/fb742ab128074d1ab95a6d40d003491a.png
[http_archive.cloudera.com_kafka_parcels_latest]: http://archive.cloudera.com/kafka/parcels/latest/
[Center 2]: /images/20220606/5e20ee9ab7a744aa9a9789e3361bc0f7.png
[Center 3]: /images/20220606/774d3c0f04bd4b36b53ea60cfe4e550e.png
[Center 4]: /images/20220606/7d4cb4225d0a4cb6a9d0af6ac87b1edf.png
[Center 5]: /images/20220606/17549770f8784a71a7adb0ea989ce59a.png
[Center 6]: /images/20220606/c03a1607afd5457581afadf5cf05a1c0.png
[Center 7]: /images/20220606/cf8990c0bfad4ee8a32b8dfdde72bacf.png