概要
あるテレマティクス事業者は、Cassandraのテーブルを作業キューとして使い、行を書き込んでは処理後に削除していました。やがて、わずかな有効行を返すためにコーディネーターが数万件のトゥームストーンをスキャンするようになり、読み取りクエリがタイムアウトし始めました。AceMQは緊急対応SLAのもとで対応を依頼されました。
課題
トゥームストーンは、gc_grace_secondsが経過してコンパクションで除去されるまで読み取りの対象であり続けます。これは、削除を取りこぼしたノードで削除済みのデータが復活するのを防ぐための仕組みです。リング全体でリペアが完了していなかったため、gc_grace_secondsを下げるとデータが復活する現実的なリスクがありました。チームはトゥームストーンの警告と失敗のしきい値を引き上げてきましたが、それは症状を覆い隠すだけで、根本にあるスキャンのコストは増え続けていました。
環境
ベアメタル上のマルチデータセンター構成のApache Cassandraクラスター。車両テレメトリーを大量に取り込んでいる。
アプローチ
AceMQは、当面の問題を和らげる作業と、恒久的な対策を切り分けました。gc_grace_secondsを変更するには、まずリペアが確実に完了する状態にすることが前提条件でした。また、ワイドパーティション上のキューは、設定にかかわらずコンパクションが除去できるよりも速くトゥームストーンを生み出すため、データモデルの変更も不可欠でした。
ソリューション
- 最も多くのトゥームストーンをスキャンしている特定のパーティションとクエリの形を特定
- gc_grace_secondsに手を付ける前提条件として、リング全体でリペアが確実に完了する状態を回復
- キューのワークロードをワイドパーティションのパターンから、TTLによる失効を使う時間バケット型のパーティションへ移行
- 対象のテーブルを、書き込みと削除のパターンに合ったコンパクション戦略に切り替え
- 引き上げられていたトゥームストーンのしきい値を元に戻し、問題が抑え込まれずに再び表面化するよう変更
- 管理されたメンテナンスウィンドウで対象を絞ったコンパクションを実行し、蓄積していたトゥームストーンを除去
結果
対象のテーブルで読み取りタイムアウトは発生しなくなり、トゥームストーンのスキャン件数が桁違いに減ったことで、p99の読み取りレイテンシーも大幅に改善しました。リペアは現在スケジュールどおりに完了しており、お客様が知らずに抱えていたデータ復活のリスクも解消されました。