導入事例の一覧に戻る

サポート産業・製造

2年間問題なく動いていたジョブが、ルックアップテーブルが大きくなった途端に失敗する

産業オートメーション機器メーカー

ディメンションテーブルがブロードキャストのしきい値を超えて大きくなったにもかかわらず、オプティマイザーがブロードキャストを試み続けてジョブが失敗する問題を解決しました。

概要

ブロードキャスト結合は、片側が小さい場合には最速の選択肢ですが、その片側がいつの間にか小さくなくなると、本番障害の確実な原因になります。AceMQは専任のシニアエンジニアを提供し、こうした障害をインシデントの後ではなく、その最中に診断・解決します。

課題

ディメンションテーブルがブロードキャストのしきい値を超えると、ドライバーがそれを実体化する際にメモリ不足になるか、エグゼキューターが受け取るのを待つ間にブロードキャストがタイムアウトします。古い統計情報が事態を悪化させます。オプティマイザーは、何か月も前に収集された行数に基づいてブロードキャストを計画するからです。コードに明示的なブロードキャストヒントが残っていると、オプティマイザーには撤回する余地がないため、さらに悪化します。障害は、誰も手を触れていないジョブで突然発生します。

環境

YARN、Kubernetes、EMR、Databricks上のApache Sparkで、時間とともに大きくなるディメンションテーブルとの結合を実行している環境。

アプローチ

AceMQのエンジニアは、物理プランからブロードキャストが試みられているかどうかとその理由を確認し、ビルド側の実際のサイズをしきい値およびドライバーの利用可能なメモリと比較します。当面の解決策は、通常はしきい値の修正、ヒントの削除、ドライバーのメモリの調整のいずれかです。恒久的な対策は、統計情報のメンテナンスと、コードベースに残っているすべての明示的なブロードキャストヒントのレビューです。

ソリューション

  1. プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
  2. 物理プランをレビューしてブロードキャストが選択されていることを確認し、ビルド側の実際のサイズを設定済みのしきい値と比較して計測
  3. 実際のドライバーのメモリに合わせたautoBroadcastJoinThresholdとbroadcastTimeoutの修正
  4. テーブルの増大にかかわらずオプティマイザーの判断を上書きしてしまう明示的なブロードキャストヒントの削除、または適用範囲の限定
  5. オプティマイザーが現在の行数に基づいて計画できるようにするための、統計情報の更新とANALYZE TABLEのスケジューリング
  6. 実行時にプランがソートマージ結合にフォールバックできるようにするための、Adaptive Query Executionの設定

結果

失敗していたジョブはその日のうちに復旧し、統計情報がメンテナンスされ、壊れたジョブだけでなくコードベース全体から古いヒントが取り除かれるため、同じパターンが再発しなくなります。

使用テクノロジー

Apache SparkDelta LakeApache Hive

Apache Sparkの専門家によるサポートが必要ですか?

AceMQのシニアApache Sparkエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。