概要
Spark環境は、継ぎ足しで大きくなっていきます。ジョブはコピーされ、リソース要求は一度締め切りに間に合わせるために水増しされたまま見直されず、パイプラインはデータを送っていたレポートがなくなった後も動き続けます。AceMQは環境全体をプロファイリングし、修正すべきもの、統合すべきもの、削除すべきものを優先順位付きのリストにしてお返しします。
課題
どのジョブが動いていて、それぞれにいくらかかっていて、誰がその出力を使っているのかを、全体として把握している人はいませんでした。エグゼキューター数とメモリの設定は、計測に基づかず、安全側に倒して決められていました。いくつかのパイプラインは、同じソースからほぼ同じ集計を計算していました。また、ジョブのうち無視できない割合は処理量が小さく、Sparkのオーバーヘッドが処理そのものを上回っており、シングルノードの処理にしたほうが速く動くものでした。
環境
Kubernetes、EMR、Dataproc、Databricks上のApache Spark。ジョブはAirflowまたはネイティブのスケジューラーでオーケストレーションされています。
アプローチ
AceMQは、環境全体からイベントログとスケジューラーの履歴を収集し、ジョブごとの実行時間、リソース割り当て、使用率のプロファイルを作成します。割り当てたリソースを観測されたピーク使用量と比較して過剰なリソース割り当てを見つけ出し、出力のリネージをたどって、利用者がいなくなったパイプラインを特定します。どの指摘にも、一般論ではなく具体的な推奨アクションを添えます。
ソリューション
- 実行時間、割り当てリソース、ピーク使用率、実行あたりのコストを含む、環境全体のジョブのインベントリ
- 要求したエグゼキューターのメモリとコア数を、計測したピーク使用量と比較する過剰割り当ての分析
- ソースと出力のリネージによる、重複またはほぼ重複したパイプラインの検出
- Sparkのオーバーヘッドが処理量を上回り、シングルノードのエンジンのほうが速く安価な小規模ジョブの特定
- 下流の利用者がもう出力を読んでいない孤立したパイプラインの検出
- 削減できるコストと必要なエンジニアリング工数を比較して優先順位を付けた改善バックログ
結果
お客様が受け取るのは、一般的な効率化レポートではなく、具体的で優先順位の付いたバックログです。ほとんどの環境には、ジョブを1つも書き直さないうちにコンピュートの支出を大幅に削減できるだけの、過剰に割り当てられた処理や孤立した処理が含まれています。