導入事例の一覧に戻る

サポート業界横断

プランに応じた15分からの対応目標、ティア1での一次切り分けなしの24/7 Databricksサポート

保険サービスグループ

ドライバーのOOM、スポットインスタンスの回収、ライブラリの競合、ワークフローのリトライストームなど、本番環境のDatabricksジョブ障害に専任エンジニアが対応するサポートです。

概要

午前3時にDatabricksのワークフローが失敗し、後続のレポートがそれに依存しているとき、本当に役立つのはチケットキューではなく、ドライバーのログとSpark UIを読み解けるエンジニアです。AceMQは、専任のシニアエンジニアによるプランに応じた15分からの対応目標を24/7で提供しており、迂回しなければならないティア1の窓口はありません。

課題

Databricksの本番ジョブの障害に、原因が1つだけということはまずありません。ドライバーのOOMは、データ量が増えたデータセットに対するcollect()に行き着くことがあります。タスク失敗の連鎖は、シャッフル中のスポットインスタンス回収が原因かもしれません。突然のインポートエラーは、ランタイムのアップグレード後に、クラスタースコープのライブラリがDBRに同梱されたバージョンを覆い隠しているせいかもしれません。そこにワークフローのリトライポリシーが加わると、同じ壊れた状態のまま高コストのステージが再実行され、障害のコストが何倍にも膨らみます。

環境

AWS、Azure、GCP上のDatabricksで、Workflows、Delta Live Tables、または外部からオーケストレーションされるジョブを実行している環境。

アプローチ

AceMQのエンジニアは、ドライバーとエグゼキューターのログ、Spark UIのイベントタイムライン、クラスターのイベント履歴をもとに、障害のきっかけとなった事象と根底にある脆弱性を切り分けます。まずは今夜の実行を乗り切れるようパイプラインを安定させ、その後に根本原因のレポートと、再発を防ぐ設定またはコードの変更をお届けします。

ソリューション

  1. プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
  2. ドライバーにデータを集めるcollect、ブロードキャスト、アキュムレーターのパターンを含む、ドライバーとエグゼキューターのOOM分析
  3. スポットインスタンスの回収とノード喪失の診断、およびオンデマンドのドライバーと混在構成のワーカーに関する推奨事項
  4. クラスタースコープ、ノートブックスコープ、initスクリプトによるインストールにまたがるライブラリとDBRバージョンの競合解消
  5. 一過性ではない障害でのリトライストームを止めるための、ワークフローのリトライとタスク依存関係の見直し
  6. 再発を防ぐ具体的な設定またはコードの変更を記載したインシデント事後レポート

結果

お客様は、本番環境のDatabricksインシデントを数営業日ではなく数時間で解決できるようになりました。根底にある脆弱性がリトライではなく修正で解消されるため、同じ障害の再発も減っています。

使用テクノロジー

DatabricksApache SparkDelta Lake

Databricksの専門家によるサポートが必要ですか?

AceMQのシニアDatabricksエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。