解决kafka.errors.NodeNotReadyError: NodeNotReadyError

python3.8 kafka-python==2.0.0

问题回顾

​ ​ 今天在线上环境(centos)向另一台kafka服务中发送消息时，产生NodeNotReadyError，是kafka-python模块里面主动抛出的异常，异常为 in check_version raise Errors.NodeNotReadyError()，很难不误解为是版本的问题，在GitHub、stackoverflow中对这个问题的答案都指向在建立连接的时候加入api_version参数，然而加了也没用。

解决方案

​ 需要访问哪台机器的kafka，就需要配置hosts文件。即在hosts文件下面添加ip hostname。

• 文件位置
  • linux:/etc/hosts
  • windows: C:/Windows/System32/drivers/etc/hosts

原理解析

​ ​ bootstrap.servers实际上是引导地址，而不是客户端真正建立长链接的地址。也就是说，客户端会根据引导地址去broker询问集群的所有broker信息，拿到返回的broker服务信息之后，再向指定的broker发起链接请求。此时由于kafka borker的advertised_listeners配置的是hostname,那么返回给客户端的元信息中的地址也是hostname,当客户端准备根据这个hostname建立长连接请求数据的时候，发现并解析不了该hostname。 于是当在主机etc/hosts文件中添加该hostname的ip映射之后便会根据域名解析找到。

Offset Explorer

Offset Explorer官网

​ Offset Explorer是kafka的图形化工具，在使用的时候，当需要连接远程kafka服务器的时候也是需要配置hosts文件的。这个工具可以很方便的管理kafka，提高效率。