概要
トリガー間隔の短いストリーミングジョブと、カーディナリティの高いパーティション列で書き込まれるDeltaテーブルには、誰も気づかないうちに小さなファイルが蓄積していきます。以前は数秒で返っていたクエリが、処理時間の大半をファイルの一覧取得とメタデータの解決に費やすようになります。AceMQはテーブルを修復し、問題を生んだ書き込み経路そのものを修正します。
課題
症状はたいてい、突然ではなく徐々に悪化する読み取りレイテンシーとして表れます。8秒で終わっていたダッシュボードのクエリが4分かかるようになり、OPTIMIZEジョブはメンテナンスウィンドウを超えて強制終了され、ファイル一覧そのものが膨大なためVACUUMも完了しません。テーブル全体に対して安易にOPTIMIZEを実行すると書き換えが発生し、チームが見込んでいた以上のコンピュートコストがかかるうえ、同時に動いている書き込み処理と競合します。
環境
クラウドのオブジェクトストレージ上で、Structured Streaming、Auto Loader、または高頻度のマイクロバッチジョブによって書き込まれるDeltaテーブルを持つDatabricks環境。
アプローチ
AceMQは、パーティションごとのファイル数とサイズ分布をプロファイリングして被害が集中している箇所を特定し、パーティションの範囲ごとに段階的にコンパクションを行います。これにより、各OPTIMIZEの実行がメンテナンスウィンドウ内に収まり、稼働中の書き込み処理とも衝突しません。テーブルが健全な状態に戻ったら、トリガー間隔、パーティション列の選択、自動コンパクションの設定といった書き込み経路を修正し、再発を防ぎます。
ソリューション
- パーティションごとのファイル数とサイズをプロファイリングし、小さなファイルが実際に蓄積している箇所を特定
- 実際のクエリ条件に基づくZORDERを伴うOPTIMIZEを、メンテナンスウィンドウに収まるようパーティションの範囲ごとに段階的にスケジュール
- パーティション戦略を見直し、多くの場合はZORDERキーにすべきカーディナリティの高い列をパーティション列から除外
- ストリーミングの書き込み経路で自動最適化と自動コンパクションを設定し、目標ファイルサイズをチューニング
- ファイル数が適正範囲に戻った段階で、VACUUMの保持期間を見直し、段階的に実行
- MERGEの多いテーブルについて、削除ベクトルとチェックポイントの設定をレビュー
結果
対象テーブルの読み取りレイテンシーは通常、元の水準に戻り、メンテナンスジョブも再びウィンドウ内で完了するようになります。同じ案件の中で書き込み経路も修正するため、ファイル数はその後の四半期で再び増加することなく、横ばいを保ちます。