kafka無法傳送訊息問題處理
背景
在伺服器上搭建了一個單機環境的kafka broker,在伺服器上使用命令生產訊息時,一切正常。當在本地使用JAVA程式傳送訊息時,一直出錯。 丟擲的錯誤為:Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12]
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
問題追蹤
最初懷疑是防火牆限制了埠,因此在本地使用telnet連線伺服器埠,發現無法連線,因此關閉伺服器防火牆。重試,還是拋同樣的問題。 後來檢視kafka日誌,發現TCP連線可以正常關閉,而且IP也是客戶端的IP,證明網路沒問題,客戶端確實可以連上kafka伺服器。 那到底是什麼問題呢? 通過檢視kafka配置,發現有個屬性:advertised.host.name。官方文件裡的備註資訊表明,該欄位的值是生產者和消費者使用的。如果沒有設定,則會取host.name的值,預設情況下,該值為localhost。思考一下,如果生產者拿到localhost這個值,只往本地發訊息,必然會報錯(因為本地沒有kafka伺服器)。問題處理
總結
其實,在生產者的日誌中,也看到先連線kafka伺服器,然後關閉;然後又連線了本地,再關閉。Connected to 192.168.56.101:9092 for producing
Disconnecting from 192.168.56.101:9092
Connected to localhost:9092 for producing
Disconnecting from localhost:9092
但是因為不瞭解kafka的配置資訊,所以也沒仔細分析。
另外,在配置生產者時,metadata.broker.list會設定成kafka伺服器的IP和地址。但這個只是獲取一些元資訊,後續傳送訊息時會根據獲取的元資訊來發送,而獲取得元資訊中,由於advertised.host.name被預設為localhost,所以本地當然會把訊息發到本地,結果導致問題出現。