개요
Azure Functions 런타임은 트리거 상태, 타이머 일정, blob 수신 기록, 싱글턴 잠금, 함수 키 저장을 위해 연결된 스토리지 계정에 의존합니다. 방화벽 규칙, 프라이빗 엔드포인트 변경, 키 교체 등으로 이 스토리지 계정에 접근할 수 없게 되면, 앱은 정상으로 보이는데 트리거만 조용히 멈출 수 있습니다. 애플리케이션 코드 어디에서도 스토리지를 참조하지 않기 때문에, 이 플랫폼에서 가장 알아채기 어려운 장애 유형 중 하나입니다.
과제
타이머 트리거와 blob 트리거 함수가 오류도, 실패한 호출도 없이 실행을 멈췄습니다. 호출 자체가 아예 없었기 때문입니다. 네트워크 변경으로 활성화된 스토리지 방화벽 규칙이 함수 앱의 아웃바운드 주소를 차단하고 있었습니다. 모니터링은 예상 실행 횟수가 아니라 실패율을 기준으로 알림을 보냈기 때문에, 실행이 없다는 사실에 대해서는 아무런 알림도 발생하지 않았습니다.
환경
타이머, blob, 큐 트리거를 사용하는 Elastic Premium 플랜 기반 Azure Functions. 해당 구독에서는 네트워크 보안 강화 프로그램이 진행 중이었습니다. AceMQ는 고객의 함수 앱, 구성, 통합 설계를 담당하며, 플랫폼 운영은 Microsoft가 맡습니다.
접근 방식
AceMQ는 애플리케이션 코드가 아니라 런타임 자체의 의존성에서 출발해, 스토리지 계정 접근 가능 여부, 런타임이 해석하는 연결 설정, 런타임이 관리하는 트리거 상태 컨테이너를 점검했습니다. 연결을 복구한 뒤에는 예상 실행 횟수를 중심으로 모니터링을 재구성했습니다. 실패율 알림으로는 실행되지 않는 트리거를 결코 감지할 수 없기 때문입니다.
해결책
- 런타임의 스토리지 계정 접근 가능 여부, 연결 설정, 트리거 상태 컨테이너를 가장 먼저 검증
- 함수 앱 런타임이 접근할 수 있도록 스토리지 방화벽 및 프라이빗 엔드포인트 구성 수정
- 런타임 전용 스토리지 계정을 애플리케이션 데이터 스토리지와 분리해 정책을 안전하게 별도로 운영
- 실패율 기반 알림을 트리거별 예상 실행 횟수 기반 알림으로 교체
- 트리거 경로 전체를 종단 간 검증하는 합성 하트비트 함수 추가
- 네트워크 팀의 변경 검토 프로세스를 위해 런타임의 스토리지 의존성 문서화
성과
트리거가 다시 동작했고, 여러 날 동안 조용히 장애가 이어지게 만든 모니터링 공백이 해소되었습니다. 이제 스토리지 의존성은 일부 사람만 아는 암묵지가 아니라 네트워크 팀의 변경 체크리스트에 포함되어 있습니다.