概要
ある公共機関は、何年も前に終了したベンダーとの契約から引き継いだCassandraクラスターを運用していました。ドキュメントは乏しく、運用チームには基準となる情報が一度も渡されていませんでした。AceMQは、現在のワークロードと予測される成長に照らして、このクラスターを評価しました。
課題
引き継いだクラスターを評価するには、意図的な設計判断と、積み重なった偶然の産物とを見分ける必要があります。レプリケーション係数と整合性レベルは、この機関が実際に必要とする耐久性に照らして確認する必要があり、トークンの分布はホットスポットがないかを検証する必要がありました。また、JVMとガベージコレクションの挙動は、設定から推測するのではなく、実際の負荷の下で計測する必要がありました。
環境
案件管理と記録保持のワークロードを支える、オンプレミスのApache Cassandraクラスター。
アプローチ
AceMQは、稼働中のクラスターから、トークンの所有状況、ノードごとの負荷の分布、ガベージコレクションの停止時間の分布、コンパクションのバックログ、保留中のタスクのキューといった根拠となるデータを収集し、この機関の耐久性と可用性の要件に照らして評価しました。調査結果は、それぞれがインシデントの発生にどれだけ近いかによって順位付けしました。
ソリューション
- トークンの所有状況とノードごとの負荷の分布を検証し、ホットスポットと偏りのあるノードを特定
- レプリケーション係数と整合性レベルを、この機関の実際の耐久性の要件に照らしてレビュー
- 本番環境の負荷の下で、ガベージコレクションの停止時間の分布とヒープの挙動を計測
- コンパクションのバックログ、保留中のタスク、テーブルごとのSSTable数を評価し、蓄積している負債を把握
- リペアのカバー範囲と完了履歴を、gc_grace_secondsに照らして評価
- 成長に対するキャパシティの余裕を予測し、リスク順に並べた改善のロードマップを提出
結果
この機関は、それまで持っていなかった基準となる情報を手に入れ、障害の発生に最も近い項目が特定され、対応の順序も決まりました。その結果、定められた耐久性の要件に合っていなかった整合性レベルをはじめ、引き継いだ設定のいくつかが修正されました。