導入事例の一覧に戻る

コンサルティング金融サービス・決済

Kafka互換は「まったく同じ」ではない。切り替える前にクライアントをテストする

グローバル決済代行企業

クライアントの互換性テスト、ACLとスキーマレジストリの移行、トピック単位の段階的な切り替えにより、KafkaからRedpandaへ移行しました。

概要

RedpandaはZooKeeperもJVMも使わずにKafkaプロトコルを扱えるため、運用負荷を大きく減らせます。移行はたいてい順調に進みますが、そうでない部分、つまり古いクライアントライブラリ、管理ツール、既存コードに埋め込まれたKafka内部の前提は、本番環境ではなくテストハーネスで見つけておく価値があります。

課題

環境内のすべてのプロデューサーとコンシューマーが、互換性の確認対象です。古いバージョンのクライアントライブラリはプロトコル機能のネゴシエーション方法が異なり、管理ツールはもはや存在しないJMXメトリクスやZooKeeperのパスに依存していることがあり、Kafka Connectのワーカー、Streamsアプリケーション、監視エージェントにもそれぞれ独自の前提があります。ブローカー側の設定は1対1で対応するわけではなく、メッセージが再処理されたりスキップされたりしないよう、コンシューマーグループのオフセットも引き継がなければなりません。

環境

KubernetesまたはVM上のApache Kafkaクラスター。複数の言語とバージョンのクライアント、Schema Registry、Kafka Connect、既存のACLがあり、Redpandaへ移行します。

アプローチ

AceMQは、すべてのクライアントをライブラリとバージョンごとに棚卸しし、テストハーネス上のRedpandaクラスターに対して、それぞれが実際に使っているプロトコル機能(トランザクション、冪等プロデュース、コンシューマーグループプロトコル、管理操作)を検証します。トピックは、MirrorMakerまたはRedpandaの移行ツールとオフセット変換を使って段階的に移行し、各コンシューマーの検証が終わるまで二重コンシュームを続けます。

ソリューション

  1. 言語、ライブラリ、バージョン別のクライアント棚卸しと、使用中のプロトコル機能ごとの互換性テストマトリクス
  2. トランザクション、冪等プロデュース、コンシューマーグループのリバランス、管理APIの呼び出しを、テストハーネス上のRedpandaに対して検証
  3. 1対1で対応しないパーティション、保持期間、コンパクションの設定を含む、ブローカー設定の変換
  4. クライアントごとの認証メカニズムの検証を伴う、ACLとSchema Registryの移行
  5. コンシューマーグループのオフセット変換と、切り替え前の二重コンシュームによる検証を伴う、トピック単位のレプリケーション
  6. JMXベースのKafkaダッシュボードに代わり、Redpandaのメトリクスに基づいて監視とアラートを再構築

結果

お客様は事前にクライアントの互換性を検証したうえでトピックごとに切り替え、ZooKeeperやKRaftの運用レイヤーを、それに伴っていたJVMチューニングとともに廃止できます。互換性の問題は、本番の切り替え中ではなくテストハーネスで表面化します。

使用テクノロジー

RedpandaApache KafkaKubernetesApache Flink

Redpandaのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアRedpandaエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。