Panoramica
Gli executor Celery e Kubernetes hanno profili di costo opposti. Celery mantiene worker sempre attivi, il che si adatta a molti task brevi e spreca capacità su pochi task lunghi; Kubernetes crea un pod per ogni task, il che si adatta a task eterogenei di lunga durata e aggiunge un overhead di avvio significativo a quelli brevi. AceMQ misura il profilo dei task e progetta di conseguenza.
Sfida
Di solito i deployment ereditano la scelta dell'executor invece di compierla. I deployment Celery che eseguono migliaia di task brevi si accodano dietro un pool di worker fisso; i deployment con executor Kubernetes che eseguono gli stessi task pagano l'avvio di un pod per ciascuno. Risoluzione delle dipendenze tra task, persistenza dei log e gestione dei secret differiscono tra i due, per cui una migrazione tocca molto più della sola impostazione dell'executor. Farla senza un rollback validato mette a rischio l'intero livello di orchestrazione.
Ambiente
Apache Airflow 2.x su Kubernetes, con un mix di task di orchestrazione brevi e task di calcolo di lunga durata inviati a Spark, Databricks o dbt.
Approccio
AceMQ profila la distribuzione di durata, concorrenza e footprint di risorse dei task nell'intero deployment per stabilire quale executor sia adatto e se sia giustificata una soluzione ibrida, con executor Kubernetes e una coda Celery per i task brevi ad alta frequenza. La migrazione viene poi suddivisa per gruppi di DAG con entrambi gli executor disponibili, e la gestione di log, secret e dipendenze viene validata prima del cutover.
Soluzione
- Profilazione di durata, concorrenza e footprint di risorse dei task per valutare l'idoneità dell'executor sul comportamento misurato
- Raccomandazione sull'executor, incluse soluzioni ibride quando le classi di task brevi e lunghi giustificano code separate
- Progettazione di pod template, resource request e node selector per i task dell'executor Kubernetes, con override per classe di task
- Progettazione dell'autoscaling dei worker e del routing delle code per i deployment Celery, dimensionati sulla concorrenza misurata
- Persistenza remota dei log, secrets backend e pipeline di build delle immagini allineati all'executor di destinazione
- Migrazione per gruppi di DAG con rollback, mantenendo entrambi gli executor in parallelo fino alla validazione di ogni gruppo
Esito
I clienti approdano a un executor adatto al loro profilo di task, con tempi di attesa in coda o overhead di avvio dei pod ridotti in modo misurabile a seconda della direzione della migrazione. La migrazione per fasi fa sì che nessun cutover metta a rischio l'intero livello di orchestrazione.