導入事例の一覧に戻る

コンサルティング医療・福利厚生

チュートリアルにあるエグゼキューターではなく、タスクの特性に合ったエグゼキューターを選ぶ

医療分析サービス事業者

CeleryからKubernetesエグゼキューターへ、あるいはその逆へと移行し、ワークロードの特性に合ったサイジングモデルとデプロイ設計を整えました。

概要

CeleryエグゼキューターとKubernetesエグゼキューターは、コスト特性が正反対です。Celeryはワーカーを常時起動しておくため、短いタスクが大量にある場合に適している一方、長いタスクが少数しかない場合はキャパシティを無駄にします。Kubernetesはタスクごとにポッドを作成するため、性質の異なる長時間タスクには適していますが、短いタスクには無視できない起動のオーバーヘッドが加わります。AceMQはタスクの特性を計測し、それに合わせて設計します。

課題

多くのデプロイでは、エグゼキューターを自ら選ぶのではなく、以前の選択をそのまま引き継いでいます。数千の短いタスクを実行するCeleryのデプロイでは、固定数のワーカープールの後ろでタスクがキューイングされ、同じタスクをKubernetesエグゼキューターで実行するデプロイでは、タスクごとにポッドの起動コストを払っています。タスクの依存関係の解決、ログの永続化、シークレットの扱いはいずれも両者で異なるため、移行はエグゼキューターの設定変更だけでは済みません。検証済みの切り戻し手順なしに移行すると、オーケストレーション層全体を危険にさらします。

環境

Kubernetes上のApache Airflow 2.x。短時間のオーケストレーションタスクと、Spark、Databricks、dbtに投入する長時間の計算タスクが混在。

アプローチ

AceMQは、デプロイ全体でタスクの実行時間、同時実行数、リソース使用量の分布をプロファイリングし、どのエグゼキューターが適しているか、また高頻度の短いタスク用にCeleryのキューを併用するKubernetesエグゼキューターといった分割構成が妥当かを判断します。そのうえで、両方のエグゼキューターを利用可能にした状態でDAGのグループごとに段階的に移行し、切り替え前にログ、シークレット、依存関係の扱いを検証します。

ソリューション

  1. タスクの実行時間、同時実行数、リソース使用量をプロファイリングし、実測した挙動に基づいてエグゼキューターの適合性を判断
  2. 短いタスクと長いタスクの種類に応じて別々のキューを設けるハイブリッド構成を含めた、エグゼキューターの推奨
  3. Kubernetesエグゼキューターのタスク向けに、タスクの種類ごとの上書き設定を含むポッドテンプレート、リソースリクエスト、ノードセレクターを設計
  4. Celeryのデプロイ向けに、実測した同時実行数に基づくワーカーのオートスケーリングとキューのルーティングを設計
  5. リモートログの永続化、シークレットバックエンド、イメージのビルドパイプラインを、移行先のエグゼキューターに合わせて整備
  6. 切り戻し手順を備え、各グループの検証が完了するまで両方のエグゼキューターを並行稼働させる、DAGグループ単位の段階的な移行

結果

お客様は、タスクの特性に合ったエグゼキューターに移行し、移行の方向に応じてキューの待ち時間やポッドの起動オーバーヘッドを目に見えて削減しています。段階的な移行により、オーケストレーション層全体を危険にさらすような一斉切り替えは発生しません。

使用テクノロジー

Apache AirflowKubernetesCeleryApache Spark

Apache Airflowのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアApache Airflowエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。