本頁內容
一段話看懂 Kafka 監控
一段話看懂 Kafka 監控
Kafka 透過 JMX 公開指標,因此收集方面唯一的問題,只是要用哪一個 exporter。在 broker 端,四個數字承載了大部分的訊號:UnderReplicatedPartitions 與 UnderMinIsrPartitionCount 代表複寫已經降級,而後者更代表 acks=all 的寫入已經開始失敗;OfflinePartitionsCount 大於零,代表資料此刻無法使用;而整個叢集的 ActiveControllerCount 加總必須剛好等於一。在這些之下,request handler 與 network processor 的閒置百分比,告訴您 broker 是否還有餘裕。在用戶端,消費者延遲(consumer lag)應以速率與追上所需時間來衡量,而不是原始的 offset 差距;生產者錯誤率與請求延遲時間,則能在確認路徑完全失效之前,顯示它正在劣化。請針對四項 broker 狀況、持續增長超過一次部署所需時間的延遲,以及生產者錯誤設定告警;其餘的畫成圖表即可。
收集:JMX,以及如何運用它
Kafka 保存的每一項 broker、生產者與消費者指標,都透過 JMX 公開。實務上,這代表要在每個 broker 上以 Java agent 形式執行 Prometheus JMX exporter,並直接從應用程式本身抓取用戶端指標,而不是從 broker 推斷。消費者延遲是值得使用專屬 exporter 的例外,因為 broker 端的觀點與消費者自身的觀點,恰恰會在您最在意的情況下產生分歧:一個已經停止 poll 的消費者,在 __consumer_offsets 中仍留有已提交的 offset,因此從外部看起來,這個 group 仍然活著。
複寫健康狀況:四個 broker 數字
UnderReplicatedPartitions 大於零,代表至少有一個 follower 已經脫離同步複本集合(ISR):叢集仍在提供服務,但您已經失去了備援。UnderMinIsrPartitionCount 更為嚴重,因為低於 min.insync.replicas 的分割區會拒絕每一個 acks=all 的 produce 請求,也就是說,生產者正在失敗,而 broker 看起來卻一切正常。OfflinePartitionsCount 大於零,代表有分割區沒有 leader,讀取與寫入都無法進行。而整個叢集的 ActiveControllerCount 加總必須等於一;等於零代表沒有 controller,等於二則代表發生了腦裂(split brain)。這四項就是需要把人叫醒的清單。
飽和度:request handler、網路執行緒與磁碟
RequestHandlerAvgIdlePercent 與 NetworkProcessorAvgIdlePercent 代表 broker 的餘裕。若持續低於約 30%,代表執行緒集區已成為瓶頸,下游的一切都會變慢,包括複寫——飽和問題正是這樣演變成複本不足的分割區問題。請同時觀察 ISR 收縮與擴張的速率:反覆收縮又擴張 ISR 的叢集,通常缺的是 IO 或網路,而不是 broker 數量。磁碟被塞滿是另一個經典問題,而控制它的是保留政策。
消費者延遲:看速率,而不是數字
延遲是分割區的 log end offset 與 consumer group 已提交 offset 之間的差距。單看絕對數字幾乎沒有意義,因為一個健康的高傳輸量消費者,可能落後數千則訊息,卻能在幾秒內追上。真正重要的是延遲是否在增長,以及以目前的消費速率,這個 group 需要多久才能回到零。請針對在超過一次正常部署時間的時間窗內持續增長,以及追上所需時間超過下游系統所能容忍的範圍設定告警。固定門檻會在每次滾動重啟時觸發呼叫,最後讓所有人都學會忽略它。
Rebalance:計算次數,並找出觸發原因
Rebalance 會在重新分配分割區時讓整個 group 停止消費,因此 rebalance 頻率是一項衡量消費可用性的指標。請依 group 分別追蹤。定期發生 rebalance 的 group,幾乎都是因為處理一個批次所需的時間超過設定的間隔而觸及 max.poll.interval.ms,或是因 session 逾時而失去成員。該修正的是觸發原因,而不是逾時設定;不過在您找出原因的期間,cooperative sticky 分配與靜態 group 成員資格可以降低每次 rebalance 的代價。
生產者端:錯誤率與延遲路徑
生產者記錄錯誤率只要大於零,就一定值得告警,因為無法寫入的生產者正在遺失資料,除非應用程式妥善處理了這項失敗——而大多數應用程式並沒有。請求延遲時間是領先指標:它會在確認路徑劣化時上升,遠早於逾時開始發生。buffer-available-bytes 逐漸趨近於零,代表用戶端產生資料的速度快過送出的速度,並將依設定開始阻塞或丟棄資料。這三項都是用戶端指標,因此只抓取 broker 指標,會讓您對使用者最先察覺的故障模式完全看不見。
值得設定的告警清單
需要觸發呼叫的情況:離線分割區大於零、低於 min ISR 的分割區大於零、active controller 數量不等於一、生產者錯誤率大於零,以及消費者延遲持續增長超過一個部署時間窗。只需開工單、不必呼叫的情況:幾分鐘內就恢復的複本不足分割區、request handler 閒置率低於百分之三十、rebalance 頻率高於基準值、磁碟使用率超過百分之七十。其餘所有指標都應該放在事件發生時有人會看的儀表板上,而不是放進值班輪替。衡量一項告警的標準是:被叫醒的人在凌晨三點能不能對它做點什麼。
常見問題
哪些 Kafka 指標真的需要把人叫醒?
離線分割區大於零、低於 min ISR 的分割區大於零、active controller 數量不等於一、生產者記錄錯誤率大於零,以及消費者延遲在超過一次部署時間的時間窗內持續增長。複本不足的分割區與執行緒集區飽和,除非持續存在,否則開工單即可,不必觸發呼叫。
複本不足(under-replicated)與低於 min ISR 的分割區有什麼差別?
複本不足代表有 follower 脫離了同步複本集合,因此備援減少,但分割區仍在提供服務。低於 min ISR 則代表同步複本集合已低於 min.insync.replicas,因此 acks=all 的 produce 請求已經遭到拒絕,而 broker 本身看起來卻很健康。
消費者延遲應該怎麼設定告警?
以速率與追上所需時間來衡量,而不是絕對的 offset 差距。健康的高傳輸量消費者可能落後很多,卻能在幾秒內恢復,因此固定門檻會在每次滾動重啟時觸發呼叫。請針對持續增長超過一次正常部署時間窗的延遲設定告警。
只監控 broker 就夠了嗎?還是用戶端指標也很重要?
用戶端指標很重要,只監控 broker 會漏掉使用者最先察覺的故障。生產者錯誤率、請求延遲時間與消費者延遲都在用戶端;一個已停止 poll 的消費者,從 broker 所看到的已提交 offset 來看,仍可能像是活著。