部落格Kafka

Kafka 重新平衡:觸發原因與如何制止重新平衡風暴

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 15 分鐘

Kafka 重新平衡:觸發原因與如何制止重新平衡風暴
On this page

Kafka 重新平衡(rebalance)是在群組內的消費者之間重新分配分割區的過程。只要成員組成發生變化——消費者加入、離開或被判定為已失效——或已訂閱 topic 的分割區數量改變,就會觸發重新平衡。健康的群組偶爾才會重新平衡,而且時間很短。每隔幾分鐘就重新平衡一次的群組有設定上的問題,而由此產生的暫停,通常會被誤認為是 broker 或吞吐量的問題。

Kafka 重新平衡本身並不是故障。它是 Apache Kafka 把分割區分配給消費者、並在部署擴展時讓工作平均分攤的方式。了解 Kafka 重新平衡如何運作之所以重要,是因為當它觸發的頻率遠超過工作負載所需時,問題就會浮現。

這個機制值得深入了解,因為幾乎所有修正方式都是調整消費者設定,而不是對叢集做任何事。

什麼會觸發 Kafka 重新平衡?

有四種情況,其中只有前兩種是刻意的。

新的消費者加入群組。例如擴充規模,或部署後有 pod 啟動。這在預期之中——新消費者加入群組時,協調器會把新的分割區分散給既有的消費者。

消費者正常離開。也就是送出離開請求的正常關機。這同樣在預期之中。每當有消費者加入或離開,就會接著重新分配。

消費者被判定為已失效。麻煩就出在這裡。群組協調器一旦認定某個消費者已經不在,就會立刻發起重新平衡,而這會在以下兩個計時器任一個到期時發生:

  • session.timeout.ms(預設 45 秒)。消費者會在背景執行緒上每隔 heartbeat.interval.ms(預設 3 秒)送出一次心跳。錯過足夠多次心跳,協調器就會將您逐出。這可以抓出真正的當機、網路分割與長時間的 GC 停頓。
  • max.poll.interval.ms(預設 5 分鐘)。也就是主執行緒上連續兩次 poll() 呼叫之間的間隔。心跳仍持續在背景執行緒上送出,所以消費者看起來還活著——但如果應用程式處理一個批次花了太久,協調器照樣會將它逐出。

正式環境中大多數原因不明的重新平衡,都來自第二種。消費者並沒有當機,只是處理得很慢,而 Kafka 無法分辨緩慢的消費者與卡住的消費者。

分割區數量改變。當 Kafka topic 新增分割區時,就會接著重新分配。訂閱內容變更也是如此。

後兩種是您寧可不要發生的重新平衡事件。不論原因為何,觸發一次 Kafka 重新平衡的代價都一樣,而不必要的重新平衡,正是讓運作正常的消費者群組陷入停滯的元兇。

Kafka 重新平衡期間實際發生了什麼事?

群組中的所有消費者都會停止消費、必須重新加入群組,並等待之後才能恢復。群組領導者(group leader)——它是其中一個消費者,而不是 Kafka broker——會向群組協調器送出請求、計算分割區的分配方式,並發布結果。分割區會先被撤銷,再重新分發出去——而且哪個消費者最後拿到哪些分割區,每一輪都可能不同。

最關鍵的特性是,這是一道同步屏障:消費者群組中的所有消費者會一起行動,而最慢的成員決定了步調。只要有一個消費者花三十秒才重新加入,整個群組就得等三十秒。重新平衡期間不會處理任何訊息,因此即使 Kafka 叢集中的每個 broker 都很健康,積壓仍會增加、延遲仍會攀升。

這就是重新平衡與延遲經常被混為一談的原因。如果您追查的是不斷增加的延遲,而不是造成延遲的重新平衡,診斷 Kafka 消費者延遲一文從症狀端切入說明。

急切式與協作式重新平衡

Kafka 的重新平衡協定有兩代,而您使用的是哪一代,會大幅改變每次重新平衡的成本。

急切式重新平衡(eager rebalancing)是最初的做法,會讓整個群組停擺(stop-the-world)。每個消費者在計算新分配之前,都會撤銷它被分配到的所有分割區。即使這次重新分配只會移動兩百個分割區中的兩個,一切照樣停止。暫停時間隨群組規模與重新加入的時間增加,而不是隨實際變動的多寡。

增量式重新平衡(incremental rebalancing)只會撤銷真正要移動的分割區。消費者會繼續處理所有保留下來的分割區。協作式重新平衡協定以兩輪較輕量的流程取代一輪沉重的流程,因此重新平衡的影響取決於變動的規模,而不是成員的數量。大多數環境都應該採用這種增量協作式做法。

這項功能從 Kafka 2.4 起就已提供,但在較舊的 Kafka 用戶端中不一定是預設值。靜態成員資格則稍早一點,在 Kafka 2.3 推出。切換只需要一行設定:

partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

⚠️ 不要只改這行就直接部署。從急切式改為協作式需要分兩階段滾動升級——第一次部署時同時列出兩種策略,讓群組能取得共識;第二次再移除急切式策略。在運行中的群組上一次完成修改,會讓重新平衡失敗。

更新的版本又更進一步。新的消費者重新平衡協定把分配計算移到 broker 端,並完全移除全域同步屏障,因此消費者不再全部一起停下來。這個新協定已在 Apache Kafka 4.0 正式推出(GA)。如果您使用的是近期版本,值得評估——但大多數正式環境還沒走到這一步,而 sticky 分配器現在就能帶來大部分的效益。

比較急切式重新平衡讓所有消費者停止,與增量協作式重新平衡只移動受影響分割區的示意圖

分割區分配策略

分配器行為重新平衡成本
RangeAssignor依 topic 分配連續範圍急切式;在多個 topic 之間可能分配不均
RoundRobinAssignor平均分散到所有分割區急切式;全部重新分配
StickyAssignor平均分散,並盡可能保留先前的分配急切式,但移動的分割區較少
CooperativeStickyAssignor具黏著性,且只撤銷要移動的部分增量式——這才是您要的

黏著性(stickiness)的重要性不只在於暫停本身。當消費者在重新平衡前後保有相同的 topic 分割區,它也能保有已暖機的本地狀態——快取、進行中的彙總、Kafka Streams 狀態儲存。不必要的重新洗牌會把這些全部丟掉,而復原的成本往往比重新平衡本身還高。

如果您使用 Spring Kafka 或其他框架封裝,同樣是透過相同的底層屬性設定——框架並不會改變您可以使用哪些策略。

Kafka 分割區分配策略比較表,比較 range、round robin、sticky 與 cooperative sticky 分配器

Kafka 重新平衡風暴:為什麼永遠不會自行恢復

讓客戶找上我們的重新平衡問題,幾乎都呈現同一種模式:

  1. 處理速度變慢——下游 API 效能下降,或批次變大。
  2. 某個消費者超過 max.poll.interval.ms 而被逐出。
  3. 群組重新平衡,所有人停下來。
  4. 暫停期間積壓持續增加。
  5. 恢復後,每個消費者面對更大的積壓拉取一整個批次,處理時間變得更長。
  6. 另一個消費者超過間隔時間。回到步驟 3。

資料處理吞吐量崩落,而叢集本身卻依然健康。

它永遠不會自行恢復,因為每一次新的 Kafka 重新平衡,都讓下一次更可能發生——這正是團隊開始調查叢集、而不是檢查自己如何設定消費者的原因。

打破這個循環,通常就是要讓批次在間隔時間內處理完成:

  • 調低 max.poll.records。這是單一最有效的調整。每次 poll 的紀錄越少,兩次 poll 之間的時間就越短。可以先從減半開始。
  • 調高 max.poll.interval.ms,讓它確實超過最壞情況的處理時間,而不是一般情況。請實際量測 p99,不要用估的。
  • 把緩慢的工作移出 polling 執行緒。如果處理過程包含耗時無法預測的網路呼叫,poll 迴圈就不是放它的地方。
  • 不要用調高 session.timeout.ms 來解決這個問題。那是另一個計時器,幫不上忙——只會延後偵測到真正失效的消費者。
回饋循環示意圖:處理緩慢超過 max.poll.interval.ms、觸發重新平衡、積壓增加,進而引發更多重新平衡

靜態成員資格

在消費者經常重新啟動的環境中——最典型的就是 Kubernetes 上的滾動部署——這項設定能讓重新啟動完全不觸發重新平衡。

為每個消費者指定一個穩定的 group.instance.id。只要在逾時時間內完成重新啟動,協調器就會辨識出回來的成員,並把它先前的分割區交還給它,不做任何重新分配:

group.instance.id=consumer-3
session.timeout.ms=45000

這項取捨很實在:真正失效的成員要等到工作階段逾時才會被取代,因此它的分割區在這段期間都不會被消費。啟用之前,請先判斷重新啟動時是否需要重新平衡。將逾時時間設為足以涵蓋滾動重啟所需的時間即可,不要更多。

另外還有一個與啟動相關、值得了解的 broker 端設定。group.initial.rebalance.delay.ms(預設 3 秒)會讓協調器在第一次重新平衡前稍作等待,讓同時啟動的消費者組成一個群組,而不是每來一個就重新平衡一次。這是個小設定,卻能讓 Kubernetes 部署少掉許多雜訊。

應該監控什麼

監控三項指標,而且要一起看:

  • 重新平衡頻率。這就是訊號本身。只要不是偶爾發生,就值得調查——卡在重新平衡循環中的消費者,最先會在這裡現形。
  • 重新平衡持續時間。持續時間拉長,代表消費者重新加入得很慢——通常正是觸發重新平衡的那個緩慢處理所致。
  • 重新平衡期間的消費者延遲。用來確認暫停是否真的讓您損失吞吐量,或者短到無關緊要。

消費者群組在部署前後一天進行幾次 Kafka 重新平衡,完全沒問題。每隔幾分鐘就重新平衡一次,則是在告訴您 max.poll.interval.ms 被超過了,而再多的叢集調校都改變不了這一點。

遇到重新平衡風暴,或原因不明的消費者暫停?這類問題幾乎都出在消費者

設定,而不是叢集,這也是為什麼 broker 指標看起來一切正常,吞吐量卻

崩落。AceMQ 提供結構化的 Kafka 評估,能找出這些問題——

如果這些知識全都集中在一個人身上,那是人力配置的風險,而不是 Kafka 的風險:自行支援 Kafka 的真實成本。

協作式重新平衡實務:如何驗證、如何遷移,以及 Streams 與 Connect 的做法

Range、round-robin 與最初的 sticky 分配器都使用急切式協定。只要成員組成有任何變化,協調器就會把群組切換到 PreparingRebalance,每個消費者撤銷自己擁有的每一個分割區,所有人重新加入,再由領導者發出全新的分配。整個群組在這一來一回之間全部停擺。

Kafka 2.4 為消費者導入了協作式重新平衡。在增量協作式協定下,重新平衡分兩個階段進行。第一階段,領導者計算新的分配,每個消費者只撤銷要離開它的分割區,其餘分割區則繼續 poll 與提交。緊接著進行第二次重新平衡,把釋出的分割區交給新的擁有者。唯一使用這個協定的用戶端分配器是 CooperativeStickyAssignor。

找我們協助的群組,大多在不知情的情況下仍使用急切式協定。首先看消費者設定:partition.assignment.strategy 是一份清單,在新版用戶端上,預設清單同時包含 range 與 cooperative-sticky。協調器會選出所有成員都支援的一種策略,因此預設會落在 range。其次,檢視群組,看看協調器實際選了哪一種:

kafka-consumer-groups.sh --bootstrap-server broker:9092 \
  --describe --group orders-svc --state

ASSIGNMENT-STRATEGY 欄位會顯示 range 或 cooperative-sticky。如果是 range,代表每次重新啟動仍會讓整個群組停擺。

遷移運行中的群組需要兩次滾動重啟,而且順序很重要。第一次,把 partition.assignment.strategy 設為目前的急切式分配器,後面接著 CooperativeStickyAssignor,並讓急切式排在前面,確保新舊執行個體混合運行時仍選用它。第二次,再移除急切式分配器。一次完成之所以會失敗,是因為在重啟途中加入的成員找不到與其他成員共通的策略,重新平衡就會出錯。

Kafka Streams 應用程式本來就透過自己的分配器使用協作式協定,因此不需要任何設定。Kafka Connect 的 worker 則以另一套由 connect.protocol 控制的增量協作式協定來平衡 connector 與 task,只要每個 worker 都支援,預設就會啟用。

代價很小。協作式重新平衡的端對端時間稍長,因為它是兩次重新平衡而不是一次,而且要移動的分割區在這段期間處於未分配狀態。換來的是,不需要移動的分割區完全不會停下來。您選擇的分割區數量決定了最多能有多少消費者分擔工作,詳見我們的分割區策略指南。

修正「群組正在重新平衡,需要重新加入」與「preparing rebalance」循環

「The group is rebalancing, so a rejoin is needed」是附在 REBALANCE_IN_PROGRESS 錯誤碼上的訊息。當消費者的請求所帶的 generation 已經不是最新時,協調器就會回傳這個訊息,最常見的是群組進入 PreparingRebalance 之後才送出的心跳、sync 或位移提交。單獨出現時這並不是故障;用戶端會重新加入,群組也會穩定下來。只有在它每隔幾秒就重複出現、群組始終無法達到 Stable、延遲不斷攀升時,才是問題。協調器所在的 broker 會記錄一行對應的「Preparing to rebalance group ... (reason: ...)」日誌,而這個 reason 欄位是判斷以下哪種情況正在發生的最快方法。

1. 超過 max.poll.interval.ms。消費者還活著,但兩次 poll 之間間隔太久,因此被移出群組。確認方式:消費者日誌顯示「consumer poll timeout has expired」,broker 的 reason 指出有成員離開。修正方式:調低 max.poll.records,直到最壞情況的批次處理能在間隔內完成;只有在 p99 仍然超出時,才調高 max.poll.interval.ms。

2. session.timeout.ms 太低,撐不過 GC 停頓或網路延遲。心跳執行緒停滯或封包延遲,導致成員被逐出。確認方式:broker 的 reason 顯示「heartbeat expiration」,GC 日誌顯示接近逾時時間的停頓,而且沒有 poll timeout 訊息。修正方式:在 broker 的 group.max.session.timeout.ms 範圍內調高 session.timeout.ms,並解決停頓問題。同一個 JVM 中的生產者也會出現相關症狀,詳見生產者逾時的原因與修正。

  • 3. 消費者循環擴縮。延遲上升時 autoscaler 增加副本,延遲下降後又移除副本,延遲再度上升。每一次擴縮事件都是一次重新平衡。確認方式:以 --members 檢視群組,會看到成員數量每分鐘都在變化,而且與部署事件的時間點吻合。修正方式:為縮減加上穩定時間窗口,把副本數上限設為分割區數量,並改用比原始延遲更平滑的訊號來擴縮。如何正確量測延遲,請見我們的消費者延遲指南。
  • 4. 沒有使用靜態成員資格。沒有 group.instance.id 時,十個 pod 的滾動部署就是十次離開加十次加入。有了它,在工作階段逾時內回來的 pod 會直接恢復原本的分配,不觸發重新平衡。確認方式:--members --verbose 顯示的是每次重新啟動都會改變的自動產生成員 ID。修正方式:為每個 pod 設定穩定的 instance id。
  • 5. 協調器或 broker 變動。承載該群組的 __consumer_offsets 分割區搬到了其他 broker,群組被重新載入,每個成員都必須重新探索並重新加入。確認方式:broker 日誌在新的 broker 上顯示「Loading group metadata」,且時間點與某次重新啟動或領導者選舉吻合。修正方式:用戶端無須任何處理。每重啟一次 broker 發生一次重新平衡是預期中的事;協調器反覆搬移則代表叢集本身不穩定。

終結大多數這類循環的三項屬性:

max.poll.records=100
group.instance.id=orders-svc-${POD_ORDINAL}
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

我們在24/7 Kafka 技術支援中為企業客戶套用這些修正,並提供依方案而定、最快 15 分鐘起的回應目標;在 Kafka 顧問服務專案中,我們也從一開始就依這種方式設計群組。

本文是Kafka 維運指南十個步驟中的第四步,該指南依照正式環境中各項維運決策出現的順序逐一說明。

常見問題

什麼會觸發 Kafka 消費者群組重新平衡?

消費者加入、正常離開,或被群組協調器判定為已失效——原因可能是超過 session.timeout.ms 仍未收到心跳,或兩次 poll 之間的間隔超過 max.poll.interval.ms。已訂閱 topic 的分割區數量變更,同樣會觸發重新平衡。

為什麼重新平衡會造成延遲與積壓?

因為它是一道同步屏障。群組重新加入並等待新的分配期間,消費者會停止消費,因此最慢的成員決定了所有人的暫停時間。在這段期間沒有任何訊息被處理,延遲(lag)也隨之累積。

Kafka 的協作式重新平衡是什麼?

一種增量式協定,只撤銷真正要易手的分割區,讓消費者繼續處理其餘所有分割區。急切式重新平衡則不論實際移動的分割區有多少,都會撤銷每個消費者的每一個分割區。

如何制止頻繁的 Kafka 重新平衡?

先找出是哪一個計時器到期。如果是批次處理太久,就調低 max.poll.records,並把 max.poll.interval.ms 調高到超過最壞情況。如果是重新啟動造成的,就使用靜態成員資格。接著改用協作式 sticky 分配器,讓剩下的重新平衡成本更低。

什麼是靜態群組成員資格(static membership)?

為每個消費者設定一個穩定的 group.instance.id,讓協調器能辨識正在重新啟動的成員,只要它在工作階段逾時內回來,就能直接歸還先前的分割區,而不觸發重新平衡。

應該使用哪一種分割區分配策略?

大多數工作負載都適用 CooperativeStickyAssignor——它能同時把分割區移動與重新平衡造成的干擾降到最低。請分兩次滾動部署遷移過去,而不是一次直接修改設定。

增加分割區會觸發 Kafka 重新平衡嗎?

會。增加已訂閱 topic 的分割區數量會讓群組重新分配,因此請把分割區變更當作排定的作業,而不是例行操作。

Kafka 重新平衡與在 broker 之間重新分配分割區是同一件事嗎?

不是,而共用的詞彙確實造成不少混淆。消費者群組重新平衡是在消費者之間重新分配分割區。在 broker 之間搬移分割區副本則是分割區重新分配(partition reassignment)——那是另一項叢集作業,使用不同的工具,風險也不同。

為什麼我的 Kafka 消費者群組一直在重新平衡?

依我們的經驗,常見原因依序是:處理一個 poll 批次的時間超過 max.poll.interval.ms;session.timeout.ms 太短,撐不過 JVM 的 GC 停頓或網路延遲;autoscaler 不斷循環地增減消費者;消費者重新啟動時沒有設定 group.instance.id,導致每次部署都等於一次離開加一次加入;或是群組協調器搬到了其他 broker。協調器所在 broker 的「Preparing to rebalance group」日誌行中的 reason 欄位會告訴您是哪一種。使用 --state 檢視群組,即可確認它是否曾經達到 Stable 狀態。

如何避免 Kafka 重新平衡造成停機?

三項設定就能消除大部分痛點。採用兩次滾動重啟的遷移方式,將群組切換為 CooperativeStickyAssignor,讓只有要移動的分割區暫停。為每個消費者設定穩定的 group.instance.id,讓在工作階段逾時內完成的重新啟動完全不觸發重新平衡。限制 max.poll.records,避免處理緩慢的批次讓健康的消費者被逐出。接著從源頭止住變動:讓自動擴縮趨於穩定,並將副本數維持在分割區數量以下。設定得當的群組,只應該在您刻意調整其規模時才重新平衡。

資料來源

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

指南、比較與研究

深入了解 Kafka

免費諮詢

請專家檢視您的 Kafka 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們