導入事例の一覧に戻る

サポート業界横断

シニアエンジニアによる24/7のClickHouseサポートとプランに応じた15分からの対応目標

サイバーセキュリティ分析サービス事業者

ReplicatedMergeTreeクラスターを対象に、レプリケーションキューの停滞、大規模クエリでのメモリ上限エラー、ミューテーションの滞留に継続的に対応するサポートです。

概要

あるセキュリティ分析サービス事業者は、複数シャードからなるクラスターでReplicatedMergeTreeテーブルを運用していました。レプリケーションキューは詰まったエントリーの後ろで停滞し、アナリストのアドホッククエリはメモリ上限に達して失敗し、削除のミューテーションは完了しないまま溜まっていく状態でした。AceMQは、ティア1での一次切り分けを挟まず、専任のシニアエンジニアによる体制でサポートを引き継ぎました。

課題

行指向データベースに慣れたチームにとって、ClickHouse特有の障害パターンはなじみのないものです。レプリケーションキューのエントリーが1つ停滞すると、その後ろのすべての処理がブロックされ、意図的な介入が必要になります。アナリストのクエリで発生するメモリ上限エラーには上限の引き上げで対処していたため、かえってクラスターがホストレベルのメモリ逼迫に近づいていました。また、ミューテーションはデータの書き換えコストを考慮せず、日常的な削除処理として発行されていました。

環境

ClickHouse KeeperによるコーディネーションのもとKubernetes上で稼働し、セキュリティイベントの検索と分析を提供するClickHouse。

アプローチ

AceMQは、繰り返し発生する障害の種類ごとに診断手順を整備し、よくあるケースはお客様のチームが自力で対応できるようにしました。エスカレーションは本当に新しいインシデントに限定しています。一律のメモリ上限引き上げはクエリ単位の制御に置き換え、ミューテーションの運用もポリシーのもとで管理するようにしました。

ソリューション

  1. 停滞したレプリケーションキューのエントリーとKeeperセッションの問題について、診断と復旧の手順を整備
  2. 一律のメモリ上限引き上げをやめ、クエリ単位・ユーザー単位の上限と、制御されたディスクへのスピルに置き換え
  3. コストの高いアナリストクエリを、フルスキャンではなくプロジェクションと集計テーブルを使うように書き換え
  4. バッチ化、スケジューリング、TTLによる期限切れの方が適しているケースを含むミューテーションのポリシーを策定
  5. レプリケーションの遅延、ミューテーションの滞留、クエリごとのメモリ使用量を追跡対象のシグナルとして計測
  6. プランに応じた15分からの対応目標のもと、シニアClickHouseエンジニアへ直接つながる24/7のエスカレーションを提供

結果

レプリケーションの停滞はクエリ結果に影響が出る前に検知・解消されるようになり、メモリ関連のクエリ失敗は以前のごく一部にまで減りました。繰り返し発生するケースの大半は、お客様のチームがエスカレーションせずにランブックで解決しています。

使用テクノロジー

ClickHouseClickHouse KeeperKubernetesPrometheus

ClickHouseの専門家によるサポートが必要ですか?

AceMQのシニアClickHouseエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。