Przegląd
Executory Celery i Kubernetes mają przeciwstawne profile kosztowe. Celery utrzymuje stale gotowe workery, co sprawdza się przy wielu krótkich zadaniach, a marnuje zasoby przy nielicznych długich; Kubernetes tworzy osobny pod dla każdego zadania, co odpowiada niejednorodnym, długotrwałym zadaniom, ale dodaje odczuwalny narzut na uruchamianie krótkich. AceMQ mierzy profil zadań i projektuje rozwiązanie na tej podstawie.
Wyzwanie
Wdrożenia zwykle dziedziczą wybór executora, zamiast go świadomie dokonywać. Wdrożenia Celery wykonujące tysiące krótkich zadań czekają w kolejce na stałą pulę workerów; wdrożenia z executorem Kubernetes, uruchamiające te same zadania, płacą za start poda przy każdym z nich. Rozwiązywanie zależności między zadaniami, utrwalanie logów i obsługa sekretów różnią się w obu przypadkach, więc migracja dotyka znacznie więcej niż samego ustawienia executora. Przeprowadzenie jej bez sprawdzonej ścieżki wycofania zagraża całej warstwie orkiestracji.
Środowisko
Apache Airflow 2.x na Kubernetes, z mieszanką krótkich zadań orkiestracyjnych i długotrwałych zadań obliczeniowych zlecanych do Spark, Databricks lub dbt.
Podejście
AceMQ profiluje rozkład czasu trwania zadań, współbieżności i zużycia zasobów w całym wdrożeniu, aby ustalić, który executor pasuje i czy uzasadniony jest podział — executor Kubernetes z kolejką Celery dla częstych, krótkich zadań. Migracja przebiega następnie etapami, według grup DAG-ów, przy dostępności obu executorów, a obsługa logów, sekretów i zależności jest weryfikowana przed przełączeniem.
Rozwiązanie
- Profilowanie czasu trwania zadań, współbieżności i zużycia zasobów w celu oceny dopasowania executora do zmierzonego zachowania
- Rekomendacja executora, w tym projekty hybrydowe tam, gdzie klasy krótkich i długich zadań uzasadniają osobne kolejki
- Projekt szablonów podów, żądań zasobów i selektorów węzłów dla zadań executora Kubernetes, z nadpisaniami dla poszczególnych klas zadań
- Projekt autoskalowania workerów i routingu kolejek dla wdrożeń Celery, dopasowany do zmierzonej współbieżności
- Zdalne utrwalanie logów, backend sekretów i potok budowania obrazów dostosowane do docelowego executora
- Etapowa migracja według grup DAG-ów z możliwością wycofania, z oboma executorami działającymi równolegle aż do weryfikacji każdej grupy
Efekt
Klienci przechodzą na executor dopasowany do profilu swoich zadań, a czas oczekiwania w kolejce lub narzut na uruchamianie podów wyraźnie spada — w zależności od kierunku migracji. Dzięki etapowej migracji żadne przełączenie nie naraża całej warstwy orkiestracji.