kafka的advertised.host.name参数外网访问配置

超、凢脫俗 2022-10-15 14:50 174阅读 0赞

**kafka的server.properties文件**

\`\`\`````host.name``` ````开始只绑定在了内部IP上，对外网卡无法访问。

把值设置为空的话会kafka监听端口在所有的网卡上绑定。但是在外网访问时，客户端又遇到了\`\`\`````java.nio.channels.ClosedChannelException``` ````异常信息，server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机器名过来。在client里断点跟踪一下发现是`findLeader`的时候返回的元信息是机器名而不是IP。客户端无法解析这个机器名所以出现了前面的异常。

在server.properties 里还有另一个参数是解决这个问题的， **advertised.host.name**参数用来配置返回的host.name值，把这个参数配置为外网IP地址即可。

这个参数默认没有启用，默认是返回的`java.net.InetAddress.getCanonicalHostName`的值，在我的mac上这个值并不等于`hostname`的值而是返回IP，但在linux上这个值就是`hostname`的值。

除了IP之外，还有PORT，外网对应的PORT也需要修改。以下是server.properties文件对应位置。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code># Hostname the broker will advertise to producers and consumers. If not set, it uses the</code></p> <p><code># value for "host.name" if configured. Otherwise, it will use the value returned from</code></p> <p><code># java.net.InetAddress.getCanonicalHostName().</code></p> <p><code>#advertised.host.name=&lt;hostname routable by clients&gt;</code></p> <p>&nbsp;</p> <p><code># The port to publish to ZooKeeper for clients to use. If this is not set,</code></p> <p><code># it will publish the same port that the broker binds to.</code></p> <p><code>#advertised.port=&lt;port accessible by clients&gt;</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

当Kafka broker启动时，它会在ZK上注册自己的IP和端口号，客户端就通过这个IP和端口号来连接。

在AWS这种IaaS环境下，由于`java.net.InetAddress.getCanonicalHostName`调用拿到的HostName是类似`ip-172-31-10-199`这样的只有内网才能访问到的主机名，所以默认注册到ZK上的IP是内网才能访问的内网IP。

此时就需要显示指定 [advertised.host.name][], [advertised.listeners][advertised.host.name]参数，让注册到ZK上的IP是外网IP。

例如对于 59.64.11.22 IP对应的broker，需要在 server.properties 配置文件里增加如下三个配置：

**新版配置**

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>advertised.listeners=PLAINTEXT:</code><code>//59.64.11.22:9092</code></p> </td> 
  </tr> 
 </tbody> 
</table>

估计读者们也会跟我一样犯迷糊，为什么需要三个参数来配置IP和端口号呢，用一个`advertised.listeners`不就搞定了吗？

后来发现[最新版本0.10.x broker配置][0.10.x broker]弃用了`advertised.host.name` 和 `advertised.port` 这两个个配置项，就配置advertised.listeners就可以了。

[advertised.host.name]: https://kafka.apache.org/090/documentation.html#brokerconfigs
[0.10.x broker]: https://kafka.apache.org/0100/documentation.html#brokerconfigs