返回所有使用案例

顧問服務金融服務/支付

與 Kafka 相容不等於與 Kafka 完全相同——切換前先測試用戶端

全球支付處理商

從 Kafka 遷移至 Redpanda,包括用戶端相容性測試、ACL 與 Schema Registry 轉換,以及逐一 topic 的分階段切換。

概覽

Redpanda 支援 Kafka 協定,卻不需要 ZooKeeper 或 JVM,大幅減輕了維運負擔。遷移通常很直接,但其中不那麼直接的部分——較舊的用戶端程式庫、管理工具,以及既有程式碼中對 Kafka 內部機制的假設——最好是在測試框架中發現,而不是在正式環境中。

挑戰

整個環境中的每一個生產者與消費者,都是一個相容性問題。較舊版本的用戶端程式庫協商協定功能的方式不同;管理工具可能依賴已不存在的 JMX 指標或 ZooKeeper 路徑;而 Kafka Connect worker、Streams 應用程式與監控代理程式,又各有各的預期。broker 端的設定無法一對一對應,consumer group 的 offset 也必須完整搬移,才不會有任何訊息被重複處理或略過。

環境

部署在 Kubernetes 或 VM 上的 Apache Kafka 叢集,用戶端混合多種程式語言與版本,並搭配 Schema Registry、Kafka Connect 與既有的 ACL,準備遷移至 Redpanda。

做法

AceMQ 依程式庫與版本盤點每一個用戶端,再於測試框架中,針對每個用戶端實際使用的協定功能——交易、冪等寫入、consumer group 協定與管理操作——對 Redpanda 叢集逐一驗證。topic 會使用 MirrorMaker 或 Redpanda 的遷移工具,搭配 offset 轉換分批遷移,並在每個消費者驗證完成之前維持雙重消費。

解決方案

  1. 依程式語言、程式庫與版本盤點用戶端,並針對使用中的每項協定功能建立相容性測試矩陣
  2. 在測試框架中,針對 Redpanda 驗證交易、冪等寫入、consumer group 重新平衡與管理 API 呼叫
  3. 轉換 broker 設定,包括無法一對一對應的分區、保留與壓縮設定
  4. 遷移 ACL 與 Schema Registry,並逐一驗證各用戶端的驗證機制
  5. 逐一 topic 進行複寫,搭配 consumer group offset 轉換,並在切換前以雙重消費進行驗證
  6. 以 Redpanda 的指標重建監控與告警,取代以 JMX 為基礎的 Kafka 儀表板

成效

客戶在事先驗證用戶端相容性的前提下,逐一 topic 完成切換,並告別 ZooKeeper 或 KRaft 維運層,以及隨之而來的 JVM 調校工作。相容性問題會在測試框架中浮現,而不是在正式環境切換時才出現。

技術

RedpandaApache KafkaKubernetesApache Flink

需要 Redpanda 架構指引嗎?

AceMQ 的資深 Redpanda 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。