概覽
Pub/Sub 讓團隊不必再維運 broker,但訂閱模式、確認期限、排序保證與 dead-letter 政策依然是設計決策,而且依然決定訊息會不會遺失或重複。
挑戰
常見的故障模式包括:確認期限短於消費者的處理時間而導致重新傳遞、沒有人監看的 dead-letter 無限制成長,以及一旦流量攀升,帳單的成長幅度就與工作負載不成比例。
環境
適用於任何 Google Cloud Pub/Sub 部署,包括與自行管理的 RabbitMQ 或 Kafka 並存的環境。
做法
AceMQ 依傳遞需求檢視主題與訂閱設計,依消費者實際處理時間檢視確認與重試行為,並檢視 dead-letter 與保留政策,以及在目前與預估流量下佔主導地位的成本驅動因素,包括自行管理的訊息系統在什麼情況下會變得更便宜。
解決方案
- 依傳遞保證檢視主題與訂閱設計
- 分析確認期限與重新傳遞行為
- 檢視 dead-letter 主題與保留政策
- 驗證對排序與 exactly-once 的預期
- 針對目前與預估流量建立成本模型
- 在有必要時與自行管理的 RabbitMQ 或 Kafka 進行比較
成效
團隊能清楚了解自家 Pub/Sub 設計會在哪些地方重複或遺失訊息、在下一個流量階段要花多少成本,以及託管訊息服務是否仍是正確的選擇。