概要
ブロードキャスト結合は、片側が小さい場合には最速の選択肢ですが、その片側がいつの間にか小さくなくなると、本番障害の確実な原因になります。AceMQは専任のシニアエンジニアを提供し、こうした障害をインシデントの後ではなく、その最中に診断・解決します。
課題
ディメンションテーブルがブロードキャストのしきい値を超えると、ドライバーがそれを実体化する際にメモリ不足になるか、エグゼキューターが受け取るのを待つ間にブロードキャストがタイムアウトします。古い統計情報が事態を悪化させます。オプティマイザーは、何か月も前に収集された行数に基づいてブロードキャストを計画するからです。コードに明示的なブロードキャストヒントが残っていると、オプティマイザーには撤回する余地がないため、さらに悪化します。障害は、誰も手を触れていないジョブで突然発生します。
環境
YARN、Kubernetes、EMR、Databricks上のApache Sparkで、時間とともに大きくなるディメンションテーブルとの結合を実行している環境。
アプローチ
AceMQのエンジニアは、物理プランからブロードキャストが試みられているかどうかとその理由を確認し、ビルド側の実際のサイズをしきい値およびドライバーの利用可能なメモリと比較します。当面の解決策は、通常はしきい値の修正、ヒントの削除、ドライバーのメモリの調整のいずれかです。恒久的な対策は、統計情報のメンテナンスと、コードベースに残っているすべての明示的なブロードキャストヒントのレビューです。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
- 物理プランをレビューしてブロードキャストが選択されていることを確認し、ビルド側の実際のサイズを設定済みのしきい値と比較して計測
- 実際のドライバーのメモリに合わせたautoBroadcastJoinThresholdとbroadcastTimeoutの修正
- テーブルの増大にかかわらずオプティマイザーの判断を上書きしてしまう明示的なブロードキャストヒントの削除、または適用範囲の限定
- オプティマイザーが現在の行数に基づいて計画できるようにするための、統計情報の更新とANALYZE TABLEのスケジューリング
- 実行時にプランがソートマージ結合にフォールバックできるようにするための、Adaptive Query Executionの設定
結果
失敗していたジョブはその日のうちに復旧し、統計情報がメンテナンスされ、壊れたジョブだけでなくコードベース全体から古いヒントが取り除かれるため、同じパターンが再発しなくなります。