개요
Airflow 배포는 서서히 나빠집니다. DAG 수는 늘어나고, 팀마다 작성 규칙이 달라지며, 메타데이터 데이터베이스는 한 번도 관리되지 않고, 버전이 너무 뒤처져 업그레이드 자체가 별도 프로젝트가 됩니다. AceMQ는 배포를 진단하고 우선순위를 매긴 개선 계획을 제시합니다.
과제
이런 문제는 Airflow 문제로 보고되는 경우가 드뭅니다. 불안정한 파이프라인과 더딘 결과물로 드러날 뿐입니다. 그 이면을 보면 태스크가 멱등하지 않아 재시도가 데이터를 오염시키고, 자격 증명이 시크릿 백엔드가 아닌 Variable에 저장되어 있으며, 메타데이터 데이터베이스는 태스크 인스턴스 이력으로 수백 GB까지 불어나 있고, 센서 태스크가 몇 시간씩 워커 슬롯을 차지하며, 배포는 마이너 버전 여러 단계가 뒤처져 있는데 업그레이드 경로를 리허설해 본 적도 없습니다.
환경
Spark, dbt, 데이터 웨어하우스, 외부 API 워크로드를 오케스트레이션하는 Kubernetes, VM 또는 관리형 서비스 기반 Apache Airflow 2.x 배포.
접근 방식
AceMQ는 인프라 및 구성, DAG 작성 관행, 보안 및 시크릿 처리, 업그레이드 준비 상태라는 네 가지 축으로 배포를 검토하며, 일반적인 체크리스트가 아니라 해당 배포의 이력에 비추어 평가합니다. 발견 사항은 수반하는 운영 위험과 해결에 드는 노력을 기준으로 순위를 매깁니다.
해결책
- 실측 DAG 및 태스크 규모를 기준으로 스케줄러, executor, 메타데이터 데이터베이스 구성 검토
- 팀 전반의 멱등성, 재시도 안전성, 최상위 코드, 의존성 구조를 다루는 DAG 작성 감사
- 시크릿 백엔드에 있어야 할 자격 증명이 Variable에 저장된 경우를 포함한 시크릿 및 커넥션 처리 검토
- 메타데이터 데이터베이스 증가 및 관리 현황 진단과 보존·아카이빙 권고
- 센서 사용 현황을 검토해, 대기 때문에 워커 슬롯이 소모되는 블로킹 센서를 deferrable 오퍼레이터로 전환
- 프로바이더 패키지 호환성과 리허설을 거친 업그레이드 계획을 포함한 버전 최신성 및 업그레이드 경로 분석
성과
고객은 안정성, 보안, 업그레이드 준비 상태를 아우르는 순위별 개선 백로그를 받으며, 가장 위험한 항목, 대개 멱등하지 않은 태스크와 일반 Variable에 저장된 자격 증명은 일반적인 권고 사항 속에 묻히지 않고 명시적으로 지목됩니다.