導入事例の一覧に戻る

是正対応ソフトウェア・デジタルプラットフォーム

マージが追いつけるよう、INSERTの形を見直す

アドテクの効果測定プラットフォーム企業

小さなINSERTが頻繁に実行され、バックグラウンドマージが処理しきれない速さでパートが生成された結果、パート数の上限に達して発生していたインジェストの失敗を解消しました。

概要

ある効果測定プラットフォームで、トラフィックのピーク時にtoo-many-partsエラーでINSERTが拒否されるようになりました。アプリケーションの各インスタンスが短い間隔のタイマーで小さな行バッチをINSERTしており、マージスケジューラーが処理できる量をはるかに超えるパートが生成されていました。AceMQは緊急対応SLAのもとで対応を開始しました。

課題

パート数の上限は問題そのものではなく、安全装置です。上限を引き上げるとテーブルの劣化がさらに進み、やがてクエリは数千ものパートを読み込んで極端に遅くなります。本当の原因は、INSERTのバッチサイズ、INSERTの頻度、そしてカーディナリティの高いパーティションキーでした。パーティションキーのせいで1回のINSERTが一度に多数のパーティションに書き込まれ、パートの生成が何倍にも膨らんでいたのです。

環境

リアルタイムのキャンペーン効果測定のため、Kafkaからイベントストリームを取り込んでいるAWS上のClickHouseクラスター。

アプローチ

AceMQはまず、テーブルごとにパートの生成速度とマージのスループットを計測し、実際の差を数値で把握しました。そのうえで、INSERTの形を最優先で見直しました。INSERTが誤った形で届く限り、マージをいくらチューニングしても補えないからです。パーティションキーの変更は段階的に進め、その間も既存のデータを常にクエリできる状態に保ちました。

ソリューション

  1. テーブルごとにパートの生成速度とマージのスループットを計測し、実際の不足分を定量化
  2. バッファリングを行うインジェスト層を介して、アプリケーションからの多数の小さなINSERTを、少数の大きなバッチに集約
  3. パーティションキーのカーディナリティを下げ、1回のINSERTが書き込むパーティション数に上限を設定
  4. 利用可能なCPUとI/Oに合わせて、バックグラウンドマージのプールサイズとマージ設定を再チューニング
  5. 移行期間中も既存のデータをクエリできるよう、パーティションキーの変更を段階的に実施
  6. テーブルごとのパート数とマージの滞留量をアラートに追加し、拒否が始まるしきい値よりも十分手前で検知できるように設定

結果

INSERTの拒否は止まり、パート数はトラフィックのピーク時でもマージが追いつける範囲に戻りました。スキャンのたびにテーブルあたり数千ものパートを開く必要がなくなったため、副次的な効果としてクエリのパフォーマンスも向上しました。

使用テクノロジー

ClickHouseKafkaKubernetesPrometheus

ClickHouseの本番環境で問題が発生していますか?

AceMQのシニアClickHouseエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。