전체 사례로 돌아가기

컨설팅헬스케어 / 복리후생

튜토리얼에 나온 executor가 아니라, 태스크 특성에 맞는 executor를 고르십시오

헬스케어 분석 서비스 기업

워크로드 특성에 맞는 용량 산정 모델과 배포 설계를 바탕으로 Celery executor에서 Kubernetes executor로, 또는 그 반대로 전환합니다.

개요

Celery executor와 Kubernetes executor는 비용 특성이 정반대입니다. Celery는 워커를 항상 띄워 두기 때문에 짧은 태스크가 많을 때 유리하고, 긴 태스크가 적을 때는 용량을 낭비합니다. Kubernetes는 태스크마다 파드를 생성하므로 이질적인 장시간 태스크에 적합하지만, 짧은 태스크에는 상당한 시작 오버헤드가 더해집니다. AceMQ는 태스크 특성을 측정하고 그에 맞춰 설계합니다.

과제

대부분의 배포 환경은 executor를 직접 선택하기보다 기존 선택을 물려받습니다. 짧은 태스크 수천 개를 실행하는 Celery 배포는 고정된 워커 풀 뒤에서 대기하고, 같은 태스크를 실행하는 Kubernetes executor 배포는 태스크마다 파드 시작 비용을 치릅니다. 태스크 의존성 해석, 로그 보존, 시크릿 처리 방식도 둘 사이에 모두 다르기 때문에, 마이그레이션은 executor 설정 하나만 바꾸는 일이 아닙니다. 검증된 롤백 없이 진행하면 오케스트레이션 계층 전체가 위험해집니다.

환경

짧은 오케스트레이션 태스크와 Spark, Databricks, dbt로 제출되는 장시간 컴퓨팅 태스크가 혼재된 Kubernetes 기반 Apache Airflow 2.x.

접근 방식

AceMQ는 배포 전반의 태스크 실행 시간, 동시성, 리소스 사용량 분포를 프로파일링해 어떤 executor가 적합한지, 그리고 Kubernetes executor에 고빈도 짧은 태스크용 Celery 큐를 더한 분할 구성이 타당한지 판단합니다. 이후 두 executor를 모두 사용할 수 있는 상태에서 DAG 그룹 단위로 단계적으로 이전하며, 전환 전에 로그, 시크릿, 의존성 처리를 검증합니다.

해결책

  1. 태스크 실행 시간, 동시성, 리소스 사용량을 프로파일링해 실측 동작을 기준으로 executor 적합성 판단
  2. 짧은 태스크와 긴 태스크 유형에 별도 큐가 타당한 경우의 하이브리드 설계를 포함한 executor 권고
  3. Kubernetes executor 태스크용 파드 템플릿, 리소스 요청, 노드 셀렉터 설계 및 태스크 유형별 오버라이드
  4. 실측 동시성에 맞춰 산정한 Celery 배포용 워커 오토스케일링 및 큐 라우팅 설계
  5. 대상 executor에 맞춘 원격 로그 보존, 시크릿 백엔드, 이미지 빌드 파이프라인 정비
  6. 각 그룹 검증이 끝날 때까지 두 executor를 병행 운영하는, 롤백 가능한 DAG 그룹 단위 단계적 마이그레이션

성과

고객은 태스크 특성에 맞는 executor로 전환하며, 전환 방향에 따라 큐 대기 시간이나 파드 시작 오버헤드가 눈에 띄게 줄어듭니다. 단계적으로 이전하기 때문에 오케스트레이션 계층 전체를 위험에 빠뜨리는 일괄 전환 이벤트가 없습니다.

기술

Apache AirflowKubernetesCeleryApache Spark

Apache Airflow 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Apache Airflow 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.