概要
午前3時にDatabricksのワークフローが失敗し、後続のレポートがそれに依存しているとき、本当に役立つのはチケットキューではなく、ドライバーのログとSpark UIを読み解けるエンジニアです。AceMQは、専任のシニアエンジニアによるプランに応じた15分からの対応目標を24/7で提供しており、迂回しなければならないティア1の窓口はありません。
課題
Databricksの本番ジョブの障害に、原因が1つだけということはまずありません。ドライバーのOOMは、データ量が増えたデータセットに対するcollect()に行き着くことがあります。タスク失敗の連鎖は、シャッフル中のスポットインスタンス回収が原因かもしれません。突然のインポートエラーは、ランタイムのアップグレード後に、クラスタースコープのライブラリがDBRに同梱されたバージョンを覆い隠しているせいかもしれません。そこにワークフローのリトライポリシーが加わると、同じ壊れた状態のまま高コストのステージが再実行され、障害のコストが何倍にも膨らみます。
環境
AWS、Azure、GCP上のDatabricksで、Workflows、Delta Live Tables、または外部からオーケストレーションされるジョブを実行している環境。
アプローチ
AceMQのエンジニアは、ドライバーとエグゼキューターのログ、Spark UIのイベントタイムライン、クラスターのイベント履歴をもとに、障害のきっかけとなった事象と根底にある脆弱性を切り分けます。まずは今夜の実行を乗り切れるようパイプラインを安定させ、その後に根本原因のレポートと、再発を防ぐ設定またはコードの変更をお届けします。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
- ドライバーにデータを集めるcollect、ブロードキャスト、アキュムレーターのパターンを含む、ドライバーとエグゼキューターのOOM分析
- スポットインスタンスの回収とノード喪失の診断、およびオンデマンドのドライバーと混在構成のワーカーに関する推奨事項
- クラスタースコープ、ノートブックスコープ、initスクリプトによるインストールにまたがるライブラリとDBRバージョンの競合解消
- 一過性ではない障害でのリトライストームを止めるための、ワークフローのリトライとタスク依存関係の見直し
- 再発を防ぐ具体的な設定またはコードの変更を記載したインシデント事後レポート
結果
お客様は、本番環境のDatabricksインシデントを数営業日ではなく数時間で解決できるようになりました。根底にある脆弱性がリトライではなく修正で解消されるため、同じ障害の再発も減っています。