概覽
Redpanda 支援 Kafka 協定,卻不需要 ZooKeeper 或 JVM,大幅減輕了維運負擔。遷移通常很直接,但其中不那麼直接的部分——較舊的用戶端程式庫、管理工具,以及既有程式碼中對 Kafka 內部機制的假設——最好是在測試框架中發現,而不是在正式環境中。
挑戰
整個環境中的每一個生產者與消費者,都是一個相容性問題。較舊版本的用戶端程式庫協商協定功能的方式不同;管理工具可能依賴已不存在的 JMX 指標或 ZooKeeper 路徑;而 Kafka Connect worker、Streams 應用程式與監控代理程式,又各有各的預期。broker 端的設定無法一對一對應,consumer group 的 offset 也必須完整搬移,才不會有任何訊息被重複處理或略過。
環境
部署在 Kubernetes 或 VM 上的 Apache Kafka 叢集,用戶端混合多種程式語言與版本,並搭配 Schema Registry、Kafka Connect 與既有的 ACL,準備遷移至 Redpanda。
做法
AceMQ 依程式庫與版本盤點每一個用戶端,再於測試框架中,針對每個用戶端實際使用的協定功能——交易、冪等寫入、consumer group 協定與管理操作——對 Redpanda 叢集逐一驗證。topic 會使用 MirrorMaker 或 Redpanda 的遷移工具,搭配 offset 轉換分批遷移,並在每個消費者驗證完成之前維持雙重消費。
解決方案
- 依程式語言、程式庫與版本盤點用戶端,並針對使用中的每項協定功能建立相容性測試矩陣
- 在測試框架中,針對 Redpanda 驗證交易、冪等寫入、consumer group 重新平衡與管理 API 呼叫
- 轉換 broker 設定,包括無法一對一對應的分區、保留與壓縮設定
- 遷移 ACL 與 Schema Registry,並逐一驗證各用戶端的驗證機制
- 逐一 topic 進行複寫,搭配 consumer group offset 轉換,並在切換前以雙重消費進行驗證
- 以 Redpanda 的指標重建監控與告警,取代以 JMX 為基礎的 Kafka 儀表板
成效
客戶在事先驗證用戶端相容性的前提下,逐一 topic 完成切換,並告別 ZooKeeper 或 KRaft 維運層,以及隨之而來的 JVM 調校工作。相容性問題會在測試框架中浮現,而不是在正式環境切換時才出現。