導入事例の一覧に戻る

コンサルティング金融サービス・決済

シャッフルを減らせば、バッチ処理時間も短くなる

全国展開のリテール銀行

夜間バッチジョブのシャッフル書き込み量とディスクへのスピルを削減し、処理時間を報告期限内に収めました。

概要

Sparkジョブが計算よりもシャッフルデータのディスク書き込みに多くの時間を費やしている場合、エグゼキューターを追加してもあまり効果はありません。ボトルネックは、本来不要だったI/Oにあるからです。AceMQは、シャッフル量がどこから生まれているかをプロファイリングし、それを回避するようジョブを再構成します。

課題

夜間バッチジョブには、時間とともにシャッフルの多いパターンが積み重なっていきます。繰り返されるrepartition、フィルターより先に実行される結合、プルーニングされていない列に対する広範な集約、そしてもはやデータ量に合っていない固定のシャッフルパーティション数などです。やがてディスクへのスピルが実行時間の大半を占めるようになり、ジョブは最も遅いステージに律速されるため、バッチ処理時間は下流のレポートが依存する期限を少しずつ超えていきます。

環境

YARNまたはKubernetes上のApache Sparkで夜間バッチのETLを実行する環境。一般的に、数テラバイト規模のHiveテーブルやDeltaテーブルを対象とする。

アプローチ

AceMQは、ステージ単位でシャッフルの読み取り量・書き込み量とスピルのバイト数をプロファイリングし、I/Oの大半を占める少数のステージを特定します。設定のチューニングに入る前に、述語とプロジェクションのプッシュダウン、結合順序の見直し、冗長なrepartitionの削除といった構造的な対策をそれらのステージに施します。パーティションのサイジングとシリアライズの設定は、修正後のジョブの形に合わせて最後に調整します。

ソリューション

  1. ステージ単位でシャッフルの読み取り・書き込みとスピルをプロファイリングし、バッチ処理時間を押し上げているステージを特定
  2. 述語と列のプルーニングを結合より前に移し、シャッフルで運ぶデータ量を削減
  3. 効果がないのにフルシャッフルを強制している冗長なrepartitionとcoalesceの呼び出しを削除
  4. shuffle.partitionsのサイジングとAdaptive Query Executionによるパーティション統合を、実際のパーティションあたりのデータ量に合わせてチューニング
  5. Kryoシリアライズ、圧縮コーデック、シャッフルバッファーの設定を、修正後のジョブの形に合わせて調整
  6. 外部シャッフルサービスとローカルディスク構成のレビュー。I/Oが競合している場合は専用のスピル用ボリュームも検討

結果

対象となったジョブでは、夜間バッチの処理時間がおおむね3分の1短縮されるのが一般的で、最も大きな改善は設定ではなく構造的な変更からもたらされます。シャッフル量がデータの増加に比例して増えなくなるため、処理時間がずるずると延びることもなくなります。

使用テクノロジー

Apache SparkApache HadoopYARNApache Hive

Apache Sparkのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアApache Sparkエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。