概要
SparkのエグゼキューターのOOMは通常は症状にすぎず、根本原因は、少数の結合キーやグループ化キーが行の大部分を占めていることであるケースが多くあります。AceMQは、ジョブがクラッシュしなくなるまでエグゼキューターのメモリを増やし続けるのではなく、スキューそのものを直接診断します。
課題
よくあるパターンは、nullのプレースホルダーやデフォルトのテナントIDが行の大きな割合を占める列で結合しているケースです。それらの行はすべて同じパーティションにハッシュされ、1つのエグゼキューターがそれを抱えようとして落ちます。チームはspark.executor.memoryを引き上げて対処しますが、それは失敗を先延ばしにしてクラスターのコストを増やすだけで、何も解決しません。その間にも、ステージの実行時間は最も遅いタスクに左右されるため、ジョブの実行時間枠は伸び続けます。
環境
YARN、Kubernetes、またはDatabricks上のApache Spark。Hive、Delta、Icebergのテーブルに対してバッチETLを実行する環境。
アプローチ
AceMQは、Spark UIのステージ詳細とイベントログを読み、タスクごとの入力サイズとシャッフル読み込みの分布を比較します。これでスキューがすぐに見えるようになります。対処法はデータに合わせて選びます。バージョンが対応していればアダプティブクエリ実行(AQE)、恒常的なホットキーにはソルティング、結合経路からのnullキーの行の除外、あるいはディメンション側が本当に小さい場合はブロードキャスト結合です。
ソリューション
- イベントログからタスクごとの入力とシャッフル読み込みの分布を分析し、偏ったキーを特定して定量化
- Adaptive Query Executionを有効化し、スキュー結合とパーティション結合のしきい値を実際の分布に合わせてチューニング
- 恒常的なホットキーに対するキーのソルティングと、それに対応する集計処理の書き換え
- ビジネス上の意味を持たないnullキーや番兵キーの行を、結合経路から除外
- エグゼキューターのメモリ、コア数、メモリオーバーヘッドのサイジングは、分布を修正する前ではなく修正した後に是正
- 不要なフルシャッフルをなくすため、パーティション数とrepartitionの配置を見直し
結果
OOMで断続的に失敗していた夜間ジョブは安定して完了するようになり、1つのタスクがパーティション全体を抱えることがなくなったため、ステージの実行時間も平準化されました。クラスターのメモリ割り当ては、増えるどころか減ることがほとんどです。