概要
あるセキュリティ分析サービス事業者は、複数シャードからなるクラスターでReplicatedMergeTreeテーブルを運用していました。レプリケーションキューは詰まったエントリーの後ろで停滞し、アナリストのアドホッククエリはメモリ上限に達して失敗し、削除のミューテーションは完了しないまま溜まっていく状態でした。AceMQは、ティア1での一次切り分けを挟まず、専任のシニアエンジニアによる体制でサポートを引き継ぎました。
課題
行指向データベースに慣れたチームにとって、ClickHouse特有の障害パターンはなじみのないものです。レプリケーションキューのエントリーが1つ停滞すると、その後ろのすべての処理がブロックされ、意図的な介入が必要になります。アナリストのクエリで発生するメモリ上限エラーには上限の引き上げで対処していたため、かえってクラスターがホストレベルのメモリ逼迫に近づいていました。また、ミューテーションはデータの書き換えコストを考慮せず、日常的な削除処理として発行されていました。
環境
ClickHouse KeeperによるコーディネーションのもとKubernetes上で稼働し、セキュリティイベントの検索と分析を提供するClickHouse。
アプローチ
AceMQは、繰り返し発生する障害の種類ごとに診断手順を整備し、よくあるケースはお客様のチームが自力で対応できるようにしました。エスカレーションは本当に新しいインシデントに限定しています。一律のメモリ上限引き上げはクエリ単位の制御に置き換え、ミューテーションの運用もポリシーのもとで管理するようにしました。
ソリューション
- 停滞したレプリケーションキューのエントリーとKeeperセッションの問題について、診断と復旧の手順を整備
- 一律のメモリ上限引き上げをやめ、クエリ単位・ユーザー単位の上限と、制御されたディスクへのスピルに置き換え
- コストの高いアナリストクエリを、フルスキャンではなくプロジェクションと集計テーブルを使うように書き換え
- バッチ化、スケジューリング、TTLによる期限切れの方が適しているケースを含むミューテーションのポリシーを策定
- レプリケーションの遅延、ミューテーションの滞留、クエリごとのメモリ使用量を追跡対象のシグナルとして計測
- プランに応じた15分からの対応目標のもと、シニアClickHouseエンジニアへ直接つながる24/7のエスカレーションを提供
結果
レプリケーションの停滞はクエリ結果に影響が出る前に検知・解消されるようになり、メモリ関連のクエリ失敗は以前のごく一部にまで減りました。繰り返し発生するケースの大半は、お客様のチームがエスカレーションせずにランブックで解決しています。