개요
Durable Functions 오케스트레이터는 이벤트 이력을 기준으로 코드를 재생하는 방식으로 동작합니다. 이는 오케스트레이터가 결정적일 때만 가능합니다. 즉, 시스템 시계를 직접 읽거나, 난수를 쓰거나, I/O를 수행하거나, Durable API 밖에서 순서가 보장되지 않는 비동기 작업을 해서는 안 됩니다. 결정성이 깨지면 재생이 이력과 어긋나고, 오케스트레이션은 깔끔하게 실패하는 대신 멈춰 버립니다.
과제
한 배포 이후 요금 청구 오케스트레이션 일부가 더 이상 진행되지 않았습니다. 오케스트레이터가 마감 시점을 계산하려고 시스템 시계를 직접 호출하고, 상관관계 GUID를 인라인으로 생성하며, 액티비티가 아닌 오케스트레이터에서 HTTP 호출을 하고 있었습니다. 이미 진행 중이던 인스턴스의 이력을 새 코드가 재현할 수 없어 인스턴스들이 멈췄고, 실패로 표시되지 않았기 때문에 장애 알림도 울리지 않았습니다.
환경
여러 액티비티 함수와 외부 호출에 걸친 팬아웃/팬인 방식의 요금 청구 오케스트레이션을 운영하는 Azure 상의 Durable Functions. AceMQ는 고객사의 오케스트레이터 및 액티비티 코드를 다루고, 플랫폼 운영은 Microsoft가 담당합니다.
접근 방식
AceMQ는 멈춘 오케스트레이션의 인스턴스 이력을 분석해 재생이 어긋난 지점을 찾았고, 이를 통해 비결정적 호출을 바로 짚어 냈습니다. 오케스트레이터를 수정한 뒤, 이미 진행 중인 인스턴스는 신중하게 처리했습니다. 일부는 재개할 수 있었고, 일부는 종료한 뒤 안전이 확인된 지점부터 다시 실행해야 했습니다.
해결책
- 인스턴스 이벤트 이력을 분석해 재생이 기록된 이력과 어긋난 정확한 지점 식별
- 시스템 시계 직접 호출을 Durable 컨텍스트의 결정적 현재 시각으로 대체
- GUID 생성과 모든 I/O를 오케스트레이터에서 액티비티 함수로 이전
- 진행 중인 인스턴스를 재개 가능 그룹과 종료 후 재실행 그룹으로 분류하고 멱등성을 보장한 재실행 수행
- 향후 변경이 이미 진행 중인 인스턴스를 깨뜨리지 않도록 버전 관리형 오케스트레이터 도입
- 실패뿐 아니라 오케스트레이션 경과 시간과 멈춘 인스턴스 수에 대한 알림 추가
성과
멈춰 있던 요금 청구 오케스트레이션은 중복 청구 없이 정리되었고, 오케스트레이터 버전 관리 덕분에 이제는 배포 때문에 실행 중인 모든 인스턴스가 멈출 위험이 사라졌습니다.