On this page
Kafkaのディザスタリカバリを構築するには、独立した障害ドメイン(別のリージョンまたはデータセンター)に2つ目のKafkaクラスターをデプロイし、Kafka MirrorMaker 2、Confluent Replicator、AWS MSK Replicatorなどのツールでトピックとコンシューマーグループのオフセットを継続的に複製します。そのうえで、プロデューサーとコンシューマーを宛先クラスターへ切り替える、テスト済みのフェイルオーバーRunbookを維持します。アクティブ/パッシブ、アクティブ/アクティブ、ストレッチクラスターのどのアーキテクチャを選ぶかは、2つの数値で決まります。目標復旧時点(どれだけのデータ損失を許容できるか)と目標復旧時間(どれだけ早くサービスを復旧しなければならないか)です。Kafkaのディザスタリカバリ計画のそれ以外の要素はすべて、この2つのビジネス要件から導かれます。
このガイドでは、Kafkaのディザスタリカバリにおける主要なアーキテクチャ、それぞれのトレードオフ、そして運用上の落とし穴を順に解説します。特にオフセット変換は、机上では良く見える計画と、実際の災害シナリオを乗り切れる計画とを分けるポイントです。
単一のKafkaクラスターはDR戦略ではない理由
Apache Kafkaはよく耐障害性があると言われ、単一クラスターの中ではそのとおりです。レプリケーションファクターを3にすれば、Kafkaはパーティションのデータを複数のブローカーに分散するため、クラスター内のブローカーを1台や2台失ってもデータは失われません。リーダー選出によって同期済みレプリカが自動的に昇格し、適切に構成された環境なら日常的なブローカー障害は難なく吸収できます。
しかし、組み込みのレプリケーションが守るのは1つの障害ドメインの内側だけです。単一のクラスターは、たとえ複数のラックにまたがっていても、1つのリージョン、1つのネットワーク、1つの管理上の影響範囲の中にあります。リージョン全体の喪失、操作ミスによるトピック削除、誤ったACLの変更、破損したKRaftクォーラム、クラウドプロバイダーの障害からは守ってくれません。高可用性とディザスタリカバリは別の領域です。HAはコンポーネント障害の間もクラスターを稼働させ続けるもので、DRは環境全体が失われたあとにKafkaサービスを復旧させるものです。
ビジネスが依存するリアルタイムのデータパイプラインを運用するチームにとって、この違いは事業継続計画の土台です。Kafkaが決済、物流、不正検知の基盤であれば、数時間単位のダウンタイムは許されませんし、イベントが黙って失われることも許されません。
ツールではなく、RPOとRTOから始める
レプリケーションツールを比較する前に、ビジネス側と2つの数値を確定させます。
- 目標復旧時点(RPO):許容できるデータ損失の上限を時間で表したもの。RPOが5分であれば、災害時に最大5分ぶんのKafkaデータを失っても構わないということです。
- 目標復旧時間(RTO):サービス復旧までに許容できる時間の上限。RTOが30分であれば、30分以内にコンシューマーとプロデューサーが再び動いていなければなりません。
これらの目標がコストを左右します。リージョン間の非同期レプリケーションでは、中程度のコストで、レプリケーション遅延(通常は数秒から数分)と同じRPOが得られます。RPOをゼロにする、つまりデータ損失のないフェイルオーバーを実現するには同期レプリケーションが必要です。その場合、すべてのプロデュースリクエストでレイテンシーの不利を受け入れ、高速な回線で結ばれた複数のアベイラビリティゾーンにインフラを展開することになります。達成できる復旧時間は、ツールよりも、フェイルオーバー手順がどれだけ自動化され、どれだけリハーサルされているかに左右されます。
ワークロードごとに正直に見極めてください。クリックストリーム分析を扱うクラスターは、金融取引を扱うクラスターよりも緩い復旧時点を許容できます。多くのチームは段階的な復旧計画に落ち着きます。少数の重要トピックには厳しいRPO/RTOを、それ以外には緩い目標を設定するやり方です。
Kafkaのディザスタリカバリのアーキテクチャ
Apache Kafka®のディザスタリカバリには、広く使われている4つのパターンがあります。本番環境の多くは、最初の2つのいずれかを採用しています。
MirrorMaker 2によるアクティブ/パッシブ
KafkaのDRで最も一般的な方式は、アクティブ/パッシブのペアです。プライマリクラスターがすべてのトラフィックを処理し、MirrorMaker 2(MM2)がトピック、設定、コンシューマーオフセットを別のリージョンまたはデータセンターにあるスタンバイクラスターへ非同期で複製します。MM2はApache Kafkaに同梱され、Kafka Connectフレームワーク上で動作します。
通常運用中、パッシブクラスターは複製されたデータを受け取りますが、クライアントには何も提供しません。災害シナリオではフェイルオーバーを行います。プロデューサーとコンシューマーの接続先をスタンバイに切り替え、プライマリに昇格させて処理を続けます。RPOはレプリケーション遅延と等しく、RTOはクライアントをどれだけ早く切り替えられるかで決まります。DNSベースのブートストラップアドレスとリハーサル済みの自動化があれば、数分で済みます。
アクティブ/パッシブが好まれるのは、考え方がシンプルで、オープンソースのツールで実現でき、スタンバイクラスターのコストを抑えられる(昇格するまでは小さくできる)からです。弱点は非対称な点にあります。災害が収まったあとのフェイルバックは、フェイルオーバーより難しいことが多く、テストされていないオフセット同期によって、コンシューマーの再開が気づかないうちに壊れていることがあります。これについては後述します。
アクティブ/アクティブのKafka
アクティブ/アクティブのKafkaトポロジーでは、異なるリージョンにある2つ(以上)のクラスターがどちらもライブトラフィックを処理し、通常はMM2またはConfluent Cluster Linkingで互いに複製し合います。各リージョンのクライアントはローカルでプロデュースとコンシュームを行うため、地理的に分散したユーザーのリージョン間レイテンシーが減り、フェイルオーバーはほぼトラフィックのルーティングだけで済みます。一方のリージョンが停止しても、もう一方はすでに稼働しているからです。
その代償は複雑さです。アクティブ/アクティブ構成のマルチリージョンKafkaでは、慎重なトピック命名(MM2は無限のレプリケーションループを防ぐため、複製したトピックにソースクラスターのエイリアスを接頭辞として付けます)、リージョン間の結果整合性を許容できるアプリケーション、そしてコンシューマーグループが移動したときの重複処理を避ける戦略が必要です。リージョンをまたいだグローバルな順序保証もありません。常時稼働で地理的に分散したワークロードという適切なユースケースであれば、アクティブ/アクティブは最良のRTOをもたらします。単一リージョンの製品であれば、たいていは過剰設計です。
ストレッチクラスター
ストレッチクラスターは、ブローカーが複数のデータセンターまたはアベイラビリティゾーンにまたがる単一のKafka環境です。同期レプリケーション(拠点をまたいでmin.insync.replicasを強制したうえでのacks=all)を使うため、すべての書き込みは確認応答の前に少なくとも2か所に記録されます。拠点を丸ごと失ってもクラスターは稼働し続け、フェイルオーバーもオフセット変換も発生せず、RPOはゼロです。
落とし穴は物理法則とコストです。すべてのプロデュースリクエストが拠点間の往復レイテンシーを負担するため、ストレッチクラスターが現実的なのは低レイテンシーの回線で結ばれた拠点間だけです(通常は約50ms未満、理想的には1つのリージョン内のAZ間で、クォーラム配置には2.5DC/3DC構成を用います)。直感に反して、ストレッチクラスターが常にミラーリングより高くつくわけではありません。運用するクラスターが2つではなく1つで済むからです。ただし、すべての拠点が同じリージョンにある場合はリージョン規模の災害からは守れず、すべての拠点へ即座に複製されてしまう操作ミスからは決して守れません。
オブジェクトストレージへのバックアップとリストア
クラスターレプリケーションはバックアップの代わりにはなりません。レプリケーションはミスも忠実に複製します。削除されたトピックやポイズンピルのデータは、数秒以内にDRサイトへミラーリングされます。重要なトピックを定期的にオブジェクトストレージへスナップショットする(Kafka ConnectのS3シンクや階層型ストレージを使う)ことで、レプリケーションでは得られないポイントインタイムリカバリが可能になります。その代わり、リストアにははるかに時間がかかります。ライブのスタンバイの代替ではなく、補完として扱ってください。
KafkaのDRアーキテクチャの比較
| アーキテクチャ | 一般的なRPO | 一般的なRTO | 相対コスト | 複雑さ | 最適な用途 |
|---|---|---|---|---|---|
| アクティブ/パッシブ(MM2) | 数秒〜数分(非同期の遅延) | 数分〜数時間 | $$ | 中 | ほとんどのエンタープライズワークロード |
| アクティブ/アクティブ | 数秒(リージョンごと) | 数秒〜数分 | $$$ | 高 | 地理分散型の常時稼働システム |
| ストレッチクラスター | ゼロ | ほぼゼロ(自動) | $$〜$$$ | 中〜高 | 低レイテンシーの拠点、データ損失ゼロが必須の要件 |
| バックアップ/リストア | 数時間(スナップショット間隔) | 数時間 | $ | 低 | コンプライアンス、操作ミスからの復旧 |
リハーサル済みのフェイルオーバー計画なしで、本番環境のKafkaを運用していませんか?AceMQのシニアエンジニアが、Kafkaのディザスタリカバリを設計・実装し、実戦さながらに検証します。そして午前3時に何かが壊れたときは、24/7のサポートチームがプランに応じた15分からの対応目標に沿って対応します。Kafkaエンジニアに相談する。
オフセット変換の問題(DR計画が実際に破綻する場所)
Kafkaのディザスタリカバリで最もわかりにくい障害モードは、データの損失ではなく、コンシューマーが間違った位置から再開することです。オフセットはクラスター固有です。プライマリのオフセット1,000,000は、宛先クラスターのオフセット1,000,000ではありません。レプリケーションの開始時点が異なり、保持期間によって削除される範囲が異なり、コンパクションによるログの書き換え方も異なるからです。
MirrorMaker 2はこれをチェックポイントで解決します。MirrorCheckpointConnectorが変換済みのコンシューマーグループのオフセットを定期的にターゲットへ送り、Kafka 2.7以降はターゲットの__consumer_offsetsトピックへ直接同期することもできます。しかし、実際のフェイルオーバーで痛い目を見る落とし穴があります。
- チェックポイントの粒度。オフセットの同期は定期的に行われます(デフォルトは60秒ごと)。フェイルオーバーしたコンシューマーは、最後に消費したレコードではなく最後のチェックポイントから再開します。再処理を前提とし、コンシューマーを冪等にしてください。
- 変換はレプリケーションより遅れる。MM2がオフセットを変換できるのは、対応するレコードが複製されたあとだけです。フェイルオーバーのきっかけとなる障害の最中にレプリケーション遅延が急増すると、変換済みのオフセットはさらに遅れます。
- 同期にはグループが非アクティブである必要がある。MM2は、ターゲットクラスターに接続中のコンシューマーグループのオフセットは上書きしません。両側でライブのコンシューマーを動かしたままフェイルオーバーをテストするチームは、これに驚かされます。
- 一方通行。チェックポイントはソースからターゲットへ流れます。復旧が成功したあと元のプライマリへフェイルバックするには、逆方向のレプリケーションと、それに伴う別のオフセット変換が必要です。フェイルバックは明示的に計画し、テストしてください。
- ストリームプロセッサーは追加の状態を持つ。Kafka StreamsやApache Flinkのジョブは内部状態(changelogトピック、Flinkのチェックポイント/セーブポイント)を保持しており、トピックのデータだけでなく、これらも整合性を保って復旧させる必要があります。
フェイルオーバー後に各コンシューマーグループがどこから再開するかを正確に答えられないなら、それはまだディザスタリカバリ計画ではありません。レプリケーションパイプラインがあるだけです。
Kafkaのディザスタリカバリ計画の策定とテスト
Kafka環境の実用的なディザスタリカバリ計画は、次の5つをカバーします。
- 範囲と目標。どのトピックとどのコンシューマーグループを対象とし、ティアごとのRPO/RTOをどうするか。プラットフォームチームだけでなく、ビジネス側の承認を得ます。
- レプリケーションの設定。MM2や選択したKafkaサービスのレプリケーションをどう設定するか。トピックフィルター、オフセット同期の間隔、ACLとスキーマの複製(Schema Registryを忘れないでください。DRサイトのコンシューマーにもスキーマが必要です)、そしてRPOに連動したアラートしきい値によるレプリケーション遅延の監視です。
- フェイルオーバーRunbook。正確で実行可能な復旧手順です。誰が判断するのか、クライアントをどう切り替えるのか(DNS、サービスディスカバリー、設定の配信)、オフセットをどう検証するのか、復旧の成功をどう確認するのかを定めます。
- フェイルバックRunbook。複製された変更をどう戻すのか、そしてデータ損失や大量の重複処理を起こさずに定常状態へどう戻るのかを定めます。
- テストのスケジュール。最低でも四半期ごとにゲームデーを実施します。ブローカー障害をシミュレートし、アベイラビリティゾーンを1つ停止させ、そのうえで本番環境に近いトラフィックを使ってステージング環境でリージョン全体のフェイルオーバーをリハーサルします。実際に達成できたRTOを測定し、現実が計画と食い違うたびにドキュメントを更新してください。
テストされていないDRは失敗します。経験豊富なKafkaのオペレーターなら誰しも、設定を誤ったトピックフィルターのせいでトピックを黙って取りこぼしたまま1年間静かに動き続け、本当の障害が起きて初めて発覚したミラーリングパイプラインを見たことがあるはずです。
マネージドKafkaとクラウドでのディザスタリカバリ
マネージドプラットフォームを使うと仕組みは変わりますが、責任は変わりません。AWSでは、MSK ReplicatorがMSK向けにマネージドなリージョン間レプリケーションを提供する一方、ハイブリッド構成やマルチアカウント構成では引き続きMirrorMaker 2が第一の選択肢です。ConfluentはCluster Linkingを提供しており、オフセットをバイト単位でそのまま保持しながらConfluent Cloudのクラスターへデータを複製するため、オフセット変換の問題がなくなります。また、Confluent Cloudのマルチリージョンオプションを使えば、フェイルオーバーの多くを自動化できます。これらは本当に役立つ機能ですが、どれを使っても、RPO/RTOの定義、クライアントの切り替えの仕組みづくり、Runbookのリハーサルは依然として必要です。マネージドなレプリケーションは、マネージドな復旧ではありません。
この記事の背景にある課題が、進行中のインシデントではなく、パーティション戦略、サイジング、セキュリティ設計、移行といったアーキテクチャの問題であれば、AceMQのKafkaコンサルティングが専任のシニアエンジニアを担当に付けます。
本記事は、Kafka運用ガイドの全10ステップのうち8番目です。このガイドでは、本番環境で運用上の判断が求められる順に解説しています。
よくある質問
Kafkaクラスターのディザスタリカバリで最も一般的な方式は何ですか?
最も一般的なのは、MirrorMaker 2を使ったアクティブ/パッシブのクラスターレプリケーションです。トピックとコンシューマーオフセットを別リージョンのスタンバイクラスターへ非同期でミラーリングし、リハーサル済みのクライアントのフェイルオーバー手順と組み合わせます。コストとシンプルさのバランスがよく、ほとんどのワークロードで十分なRPO/RTOを確保できます。
Kafkaのディザスタリカバリでデータ損失ゼロは実現できますか?
できます。ただし同期レプリケーションが前提です。具体的には、acks=allと適切なmin.insync.replicasを設定して複数のアベイラビリティゾーンにまたがるストレッチクラスターか、拠点間の同期書き込みを提供するプラットフォーム機能が必要です。Kafka MirrorMaker 2のような非同期ツールでは常にレプリケーション遅延と同じだけのRPOが生じるため、非同期ミラーリングだけではデータ損失のないフェイルオーバーは保証できません。
Kafkaのディザスタリカバリ計画はどのくらいの頻度でテストすべきですか?
最低でも四半期に1回、加えてKafka環境に重要な変更(バージョンアップグレード、新たな重要トピック、トポロジーの変更)があったときに実施します。本格的なテストには、ステージング環境でのリージョン間フェイルオーバー、すべての重要なコンシューマーグループがどこから再開するかの確認、そして実測したRTOと目標値との比較が含まれます。
ストレッチクラスターはミラーリングよりも高くつくのではありませんか?
必ずしもそうではありません。ストレッチクラスターは複数拠点に分散した1つのクラスターですが、ミラーリングでは完全なクラスター2つとレプリケーション層を運用する必要があります。ストレッチクラスターはレイテンシーとネットワークのコストが高く、高品質な回線を必要としますが、ハードウェアと運用のコストは抑えられる場合があります。本当の制約は、レイテンシーの許容範囲と、1つのリージョン内のストレッチクラスターではリージョン全体の喪失を乗り切れないという点です。
MirrorMaker 2とは何ですか?どのように機能しますか?
MirrorMaker 2は、Apache Kafkaに同梱されているクラスター間レプリケーションツールで、KIP-382で定義され、Kafka Connectフレームワーク上に構築されています。ソースクラスターからコンシュームしてターゲットクラスターへプロデュースし、トピック、トピック設定、コンシューマーグループとそのオフセット、ACLをレプリケートします。デフォルトでは、レプリケートされたトピックはソースクラスターのエイリアスをプレフィックスとして付けた名前に変更されます。たとえば、us-westという名前のクラスターのordersは、ターゲット側ではus-west.ordersになります。この命名規則があるからこそ、レプリケーションのループを起こさずにアクティブ/アクティブ構成を実現できます。また、フェイルオーバーのランブックでコンシューマーの参照先を名前変更後のトピックに切り替えなければならない理由もここにあります。
フェイルオーバー時、コンシューマーオフセットはどうなりますか?
MirrorMaker 2では、チェックポイントによってコンシューマーグループのオフセットが一定間隔でソースからターゲットクラスターへ変換されます。フェイルオーバー時、コンシューマーは最後に変換されたチェックポイントから再開します。通常は実際の位置より少し手前になるため、一部のレコードは再処理されます。コンシューマーは冪等にし、オフセット同期の間隔はRPOより短く調整すべきです。Confluent Cluster Linkingはオフセットをバイト単位でそのまま保持するため、変換自体が不要です。--- Kafkaのディザスタリカバリは、インストールすれば済む製品ではなく、Kafkaの回復性を確保するための戦略です。RPOとRTOに合ったアーキテクチャを選び、理解しているツールでデータを複製し、オフセットの挙動を徹底的に把握し、フェイルオーバーが退屈な作業になるまでテストしてください。障害が起きてから穴に気づくのでは遅すぎます。AceMQは、オープンソースのKafkaに対して、シニアエンジニアが待機しプランに応じた15分からの対応目標を備えた24/7のエンタープライズサポートを提供しています。DRアーキテクチャのレビューから、リージョンが停止したときに真っ先に呼び出されるチームまで務めます。AceMQのKafkaサービスをご覧いただくか、24/7のサポートをご検討ください。
ガイド・製品比較・調査レポート

