概覽
Pulsar 會保留訊息,直到每一個訂閱都確認收到為止。一個已停止消費的訂閱——已下線的服務、當掉的消費者、沒人移除的測試用戶端——會讓積壓一直無法釋放,直到命名空間配額達到上限,此時生產者就會遭到節流或拒絕。AceMQ 能迅速診斷出這個問題,並修正背後的政策設定。
挑戰
回報的症狀是生產者開始失敗或速度大幅下降,而生產者端卻沒有任何變更。原因在於積壓配額政策已達上限,且動作設為 producer_request_hold 或 producer_exception。要找出是哪一個訂閱造成的,必須逐一檢查整個命名空間中各訂閱的積壓;而保留政策與 TTL 政策之間的交互作用,也很容易在有人倉促修正時出錯。
環境
部署於 Kubernetes 或實體伺服器上的 Apache Pulsar 叢集,採多租戶命名空間、混合多種訂閱類型,部分部署啟用了異地複寫。
做法
AceMQ 工程師會逐一檢查整個命名空間中各訂閱的積壓與確認位置,找出讓保留無法釋放的訂閱,並確認它是落後的現役消費者,還是已被遺棄的訂閱。接著採取適當的緩解措施——略過或讓遭遺棄的積壓過期,或針對現役消費者處理其傳輸量問題——再修正整組政策設定,讓下次出問題時能明確顯現。
解決方案
- 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,沒有 Tier-1 分流
- 逐一檢查各訂閱的積壓與確認位置,找出阻擋保留釋放的訂閱
- 檢視積壓配額政策及其動作設定,涵蓋 producer_request_hold、producer_exception 與 consumer_backlog_eviction
- 調整保留與訊息 TTL 政策,讓遭遺棄的訂閱會自動過期,而不是無限累積
- 針對現役訂閱診斷消費者傳輸量,涵蓋接收佇列大小、確認逾時與否定確認重新投遞
- 建立訂閱生命週期管理與告警,在配額強制執行之前就偵測到遭遺棄的訂閱與持續增加的積壓
成效
生產者節流在事故處理期間即獲解除;後續的政策調整也讓遭遺棄的訂閱會自行過期,積壓持續增加時,遠在達到配額之前就會發出告警。