Powrót do wszystkich studiów przypadków

DoradztwoOchrona zdrowia / świadczenia

Executor dobrany do profilu zadań, a nie ten z tutoriala

Dostawca analityki medycznej

Przejście z executora Celery na executor Kubernetes (lub odwrotnie) z modelem doboru zasobów i projektem wdrożenia dopasowanymi do profilu obciążenia.

Przegląd

Executory Celery i Kubernetes mają przeciwstawne profile kosztowe. Celery utrzymuje stale gotowe workery, co sprawdza się przy wielu krótkich zadaniach, a marnuje zasoby przy nielicznych długich; Kubernetes tworzy osobny pod dla każdego zadania, co odpowiada niejednorodnym, długotrwałym zadaniom, ale dodaje odczuwalny narzut na uruchamianie krótkich. AceMQ mierzy profil zadań i projektuje rozwiązanie na tej podstawie.

Wyzwanie

Wdrożenia zwykle dziedziczą wybór executora, zamiast go świadomie dokonywać. Wdrożenia Celery wykonujące tysiące krótkich zadań czekają w kolejce na stałą pulę workerów; wdrożenia z executorem Kubernetes, uruchamiające te same zadania, płacą za start poda przy każdym z nich. Rozwiązywanie zależności między zadaniami, utrwalanie logów i obsługa sekretów różnią się w obu przypadkach, więc migracja dotyka znacznie więcej niż samego ustawienia executora. Przeprowadzenie jej bez sprawdzonej ścieżki wycofania zagraża całej warstwie orkiestracji.

Środowisko

Apache Airflow 2.x na Kubernetes, z mieszanką krótkich zadań orkiestracyjnych i długotrwałych zadań obliczeniowych zlecanych do Spark, Databricks lub dbt.

Podejście

AceMQ profiluje rozkład czasu trwania zadań, współbieżności i zużycia zasobów w całym wdrożeniu, aby ustalić, który executor pasuje i czy uzasadniony jest podział — executor Kubernetes z kolejką Celery dla częstych, krótkich zadań. Migracja przebiega następnie etapami, według grup DAG-ów, przy dostępności obu executorów, a obsługa logów, sekretów i zależności jest weryfikowana przed przełączeniem.

Rozwiązanie

  1. Profilowanie czasu trwania zadań, współbieżności i zużycia zasobów w celu oceny dopasowania executora do zmierzonego zachowania
  2. Rekomendacja executora, w tym projekty hybrydowe tam, gdzie klasy krótkich i długich zadań uzasadniają osobne kolejki
  3. Projekt szablonów podów, żądań zasobów i selektorów węzłów dla zadań executora Kubernetes, z nadpisaniami dla poszczególnych klas zadań
  4. Projekt autoskalowania workerów i routingu kolejek dla wdrożeń Celery, dopasowany do zmierzonej współbieżności
  5. Zdalne utrwalanie logów, backend sekretów i potok budowania obrazów dostosowane do docelowego executora
  6. Etapowa migracja według grup DAG-ów z możliwością wycofania, z oboma executorami działającymi równolegle aż do weryfikacji każdej grupy

Efekt

Klienci przechodzą na executor dopasowany do profilu swoich zadań, a czas oczekiwania w kolejce lub narzut na uruchamianie podów wyraźnie spada — w zależności od kierunku migracji. Dzięki etapowej migracji żadne przełączenie nie naraża całej warstwy orkiestracji.

Technologie

Apache AirflowKubernetesCeleryApache Spark

Potrzebują Państwo doradztwa w zakresie architektury Apache Airflow?

Starsi inżynierowie Apache Airflow w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.