Torna a tutti i casi d'uso

ConsulenzaSanità / Benefit

Scegliere l'executor adatto al proprio profilo di task, non quello del tutorial

Fornitore di analytics in ambito sanitario

Passaggio dall'executor Celery all'executor Kubernetes, o viceversa, con un modello di dimensionamento e una progettazione del deployment coerenti con il profilo del workload.

Panoramica

Gli executor Celery e Kubernetes hanno profili di costo opposti. Celery mantiene worker sempre attivi, il che si adatta a molti task brevi e spreca capacità su pochi task lunghi; Kubernetes crea un pod per ogni task, il che si adatta a task eterogenei di lunga durata e aggiunge un overhead di avvio significativo a quelli brevi. AceMQ misura il profilo dei task e progetta di conseguenza.

Sfida

Di solito i deployment ereditano la scelta dell'executor invece di compierla. I deployment Celery che eseguono migliaia di task brevi si accodano dietro un pool di worker fisso; i deployment con executor Kubernetes che eseguono gli stessi task pagano l'avvio di un pod per ciascuno. Risoluzione delle dipendenze tra task, persistenza dei log e gestione dei secret differiscono tra i due, per cui una migrazione tocca molto più della sola impostazione dell'executor. Farla senza un rollback validato mette a rischio l'intero livello di orchestrazione.

Ambiente

Apache Airflow 2.x su Kubernetes, con un mix di task di orchestrazione brevi e task di calcolo di lunga durata inviati a Spark, Databricks o dbt.

Approccio

AceMQ profila la distribuzione di durata, concorrenza e footprint di risorse dei task nell'intero deployment per stabilire quale executor sia adatto e se sia giustificata una soluzione ibrida, con executor Kubernetes e una coda Celery per i task brevi ad alta frequenza. La migrazione viene poi suddivisa per gruppi di DAG con entrambi gli executor disponibili, e la gestione di log, secret e dipendenze viene validata prima del cutover.

Soluzione

  1. Profilazione di durata, concorrenza e footprint di risorse dei task per valutare l'idoneità dell'executor sul comportamento misurato
  2. Raccomandazione sull'executor, incluse soluzioni ibride quando le classi di task brevi e lunghi giustificano code separate
  3. Progettazione di pod template, resource request e node selector per i task dell'executor Kubernetes, con override per classe di task
  4. Progettazione dell'autoscaling dei worker e del routing delle code per i deployment Celery, dimensionati sulla concorrenza misurata
  5. Persistenza remota dei log, secrets backend e pipeline di build delle immagini allineati all'executor di destinazione
  6. Migrazione per gruppi di DAG con rollback, mantenendo entrambi gli executor in parallelo fino alla validazione di ogni gruppo

Esito

I clienti approdano a un executor adatto al loro profilo di task, con tempi di attesa in coda o overhead di avvio dei pod ridotti in modo misurabile a seconda della direzione della migrazione. La migrazione per fasi fa sì che nessun cutover metta a rischio l'intero livello di orchestrazione.

Tecnologie

Apache AirflowKubernetesCeleryApache Spark

Vi servono indicazioni sull'architettura Apache Airflow?

Gli ingegneri Apache Airflow senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.