概要
ある決済代行企業は、すべてのキースペースに対するフルリペアをcronジョブで実行していました。実行は頻繁にgc_grace_secondsの期限を超え、互いに重なり合い、クラスターのI/Oを飽和させては強制終了されていました。リング全体のリペアが最後に完了したのがいつなのか、誰も答えられませんでした。AceMQは専任のシニアエンジニアによるサポートを引き継ぎました。
課題
gc_grace_seconds以内に完了しないリペアは、単なる保守作業の問題ではありません。コンパクションによって一部のレプリカでだけトゥームストーンが除去されると、削除したはずのデータが復活しうることを意味します。複数のデータセンターにまたがる大規模なリングでのフルリペアは、完了させるにはコストが高すぎ、それに伴うストリーミングは本番トラフィックと直接競合していました。
環境
オンプレミスとクラウドにまたがるマルチデータセンターのApache Cassandra。取引台帳と決済のデータを支えています。
アプローチ
AceMQは、リング全体のリペアを、スケジュールに基づくセグメント単位のインクリメンタルリペアに置き換えました。これにより、クラスターの空き容量に合わせてペースを調整でき、中断後も再開できるようになりました。リペアとコンパクションが同じI/Oを奪い合わないよう、コンパクションの戦略とスループットの設定をテーブルごとに再調整しました。
ソリューション
- cron駆動のフルリペアを、最初からやり直すのではなく途中から再開できる、スケジュール型のセグメント単位のリペアオーケストレーターに置き換え
- クラスターの空き容量に合わせてリペアのペースを調整し、営業時間中にI/Oを飽和させないように変更
- デフォルト設定ではなく、実際の読み取り・書き込み・削除のパターンに合わせて、テーブルごとにコンパクション戦略を再調整
- コンパクションのスループットと同時実行コンパクター数の設定を、基盤のストレージに合わせて調整
- キースペースごとのリペア完了時間をgc_grace_secondsと比較し、追跡とアラートが可能なメトリクスとして計測
- ティア1のトリアージを挟まず、シニアCassandraエンジニアへ直接つながる24/7のエスカレーションを提供
結果
現在では、すべてのキースペースでリペアがgc_grace_secondsを大きく下回る時間で完了し、その完了は推測ではなくメトリクスとして追跡されています。クラスターが抱えていたデータ復活のリスクは解消され、リペアの実行中に本番のレイテンシーが悪化することもなくなりました。