概要
DatabricksはDBU単位で課金されます。ジョブクラスターなら数ドルで済むノートブックも、一日中起動したままの対話型の汎用クラスターでは、その数倍のコストがかかることがあります。AceMQは、実際のクラスター使用状況をその上で動くワークロードと照らし合わせて監査し、コスト試算付きの改善計画を作成します。
課題
ノートブックから使い始めたチームは、手軽さから本番のETLを共有の汎用クラスター上で動かし続けがちです。コールドスタートを避けるためにオートスケーリングの最小値は高めに設定され、誰もセッションを失わないようにアイドルタイムアウトは無効化され、クラスターポリシーは存在しないか、何も強制できないほど緩い状態になります。その結果、請求額はデータ量よりも速いペースで増え、どのチームやパイプラインのコストなのかも明確に追跡できなくなります。
環境
AWS、Azure、GCP上のDatabricks。ワークロードはノートブック、定期ジョブ、Delta Live Tablesのパイプラインにまたがります。
アプローチ
AceMQは、システムテーブルとクラスターのイベントログを取得してワークロードごとのDBUプロファイルを作成し、対話的な探索と定期実行の本番処理を切り分けます。コストの高い各ワークロードについて、原因がコンピュートの選定なのか、ランタイムなのか、データレイアウトなのかを調べます。そのうえで、チームの規律に頼るのではなく、安価な方法が自然と標準になるようなクラスターポリシーとインスタンスプールの構成を定義します。
ソリューション
- システムテーブルとクラスターのイベントログから、ワークロード、チーム、クラスタータイプ別にDBUを配賦
- 定期実行のパイプラインを、汎用クラスターから一時的なライフサイクルを持つジョブクラスターへ移行
- ワークロードごとにPhotonとスポットインスタンスの適性を含め、オートスケーリングの下限、アイドルタイムアウト、インスタンスファミリーを見直し
- ワークスペースとチームごとに、ノードタイプ、ワーカー数、DBRバージョンを制限するクラスターポリシー
- 夜間にウォーム状態の容量を保持せずにコールドスタートのコストを削減するインスタンスプールの設計
- プラットフォームの支出を発生元のチームに対応付けるタグ付けとチャージバックのモデル
結果
お客様は、DBU支出の大部分を占めるワークロードの優先順位付きリストと、新しい処理が同じパターンを繰り返さないためのポリシー一式を手にします。ほとんどの案件で、パイプラインのロジックを一切変えずにプラットフォームの支出を大きく削減できるだけの、アイドル状態や過剰なサイズのコンピュートが見つかっています。