概要
ある効果測定プラットフォームで、トラフィックのピーク時にtoo-many-partsエラーでINSERTが拒否されるようになりました。アプリケーションの各インスタンスが短い間隔のタイマーで小さな行バッチをINSERTしており、マージスケジューラーが処理できる量をはるかに超えるパートが生成されていました。AceMQは緊急対応SLAのもとで対応を開始しました。
課題
パート数の上限は問題そのものではなく、安全装置です。上限を引き上げるとテーブルの劣化がさらに進み、やがてクエリは数千ものパートを読み込んで極端に遅くなります。本当の原因は、INSERTのバッチサイズ、INSERTの頻度、そしてカーディナリティの高いパーティションキーでした。パーティションキーのせいで1回のINSERTが一度に多数のパーティションに書き込まれ、パートの生成が何倍にも膨らんでいたのです。
環境
リアルタイムのキャンペーン効果測定のため、Kafkaからイベントストリームを取り込んでいるAWS上のClickHouseクラスター。
アプローチ
AceMQはまず、テーブルごとにパートの生成速度とマージのスループットを計測し、実際の差を数値で把握しました。そのうえで、INSERTの形を最優先で見直しました。INSERTが誤った形で届く限り、マージをいくらチューニングしても補えないからです。パーティションキーの変更は段階的に進め、その間も既存のデータを常にクエリできる状態に保ちました。
ソリューション
- テーブルごとにパートの生成速度とマージのスループットを計測し、実際の不足分を定量化
- バッファリングを行うインジェスト層を介して、アプリケーションからの多数の小さなINSERTを、少数の大きなバッチに集約
- パーティションキーのカーディナリティを下げ、1回のINSERTが書き込むパーティション数に上限を設定
- 利用可能なCPUとI/Oに合わせて、バックグラウンドマージのプールサイズとマージ設定を再チューニング
- 移行期間中も既存のデータをクエリできるよう、パーティションキーの変更を段階的に実施
- テーブルごとのパート数とマージの滞留量をアラートに追加し、拒否が始まるしきい値よりも十分手前で検知できるように設定
結果
INSERTの拒否は止まり、パート数はトラフィックのピーク時でもマージが追いつける範囲に戻りました。スキャンのたびにテーブルあたり数千ものパートを開く必要がなくなったため、副次的な効果としてクエリのパフォーマンスも向上しました。