概要
Sparkジョブが計算よりもシャッフルデータのディスク書き込みに多くの時間を費やしている場合、エグゼキューターを追加してもあまり効果はありません。ボトルネックは、本来不要だったI/Oにあるからです。AceMQは、シャッフル量がどこから生まれているかをプロファイリングし、それを回避するようジョブを再構成します。
課題
夜間バッチジョブには、時間とともにシャッフルの多いパターンが積み重なっていきます。繰り返されるrepartition、フィルターより先に実行される結合、プルーニングされていない列に対する広範な集約、そしてもはやデータ量に合っていない固定のシャッフルパーティション数などです。やがてディスクへのスピルが実行時間の大半を占めるようになり、ジョブは最も遅いステージに律速されるため、バッチ処理時間は下流のレポートが依存する期限を少しずつ超えていきます。
環境
YARNまたはKubernetes上のApache Sparkで夜間バッチのETLを実行する環境。一般的に、数テラバイト規模のHiveテーブルやDeltaテーブルを対象とする。
アプローチ
AceMQは、ステージ単位でシャッフルの読み取り量・書き込み量とスピルのバイト数をプロファイリングし、I/Oの大半を占める少数のステージを特定します。設定のチューニングに入る前に、述語とプロジェクションのプッシュダウン、結合順序の見直し、冗長なrepartitionの削除といった構造的な対策をそれらのステージに施します。パーティションのサイジングとシリアライズの設定は、修正後のジョブの形に合わせて最後に調整します。
ソリューション
- ステージ単位でシャッフルの読み取り・書き込みとスピルをプロファイリングし、バッチ処理時間を押し上げているステージを特定
- 述語と列のプルーニングを結合より前に移し、シャッフルで運ぶデータ量を削減
- 効果がないのにフルシャッフルを強制している冗長なrepartitionとcoalesceの呼び出しを削除
- shuffle.partitionsのサイジングとAdaptive Query Executionによるパーティション統合を、実際のパーティションあたりのデータ量に合わせてチューニング
- Kryoシリアライズ、圧縮コーデック、シャッフルバッファーの設定を、修正後のジョブの形に合わせて調整
- 外部シャッフルサービスとローカルディスク構成のレビュー。I/Oが競合している場合は専用のスピル用ボリュームも検討
結果
対象となったジョブでは、夜間バッチの処理時間がおおむね3分の1短縮されるのが一般的で、最も大きな改善は設定ではなく構造的な変更からもたらされます。シャッフル量がデータの増加に比例して増えなくなるため、処理時間がずるずると延びることもなくなります。