개요
한 물류 기업에서는 수명이 짧은 워크로드의 지표와 트레이스가 간헐적으로 사라지고 있었습니다. 벤더 기술 지원은 플랫폼 쪽에는 문제가 없다고 확인했고, 남은 조사 대상은 고객 자체의 에이전트와 인프라 계층이었습니다. AceMQ가 다루는 계층이 바로 여기입니다.
과제
수명이 짧은 배치 파드가 에이전트가 버퍼를 플러시하기 전에 종료되어, 마지막 지표와 실행 마지막 몇 초 동안의 트레이스가 전혀 도착하지 않았습니다. 이와 별개로 네트워크 정책 변경 이후 피크 시간대에 이그레스 트래픽 일부가 누락되기 시작했는데, 에이전트의 재시도 동작 때문에 이 문제가 체계적인 문제가 아니라 간헐적인 문제처럼 가려졌습니다. 두 문제가 하나의 불안정한 증상처럼 보였기 때문에 몇 달 동안 해결되지 않았습니다.
환경
파드 교체가 잦은 Kubernetes에 DaemonSet으로 배포된 Datadog 에이전트. 이그레스는 정책이 적용되는 공유 네트워크 경로를 거칩니다.
접근 방식
AceMQ는 벤더의 플랫폼을 운영하지 않습니다. 고객이 소유하고 벤더 기술 지원이 조사하지 않는 계층을 다룹니다. AceMQ는 에이전트 자체의 텔레메트리를 계측하고, 누락 시간대를 파드 수명 주기 이벤트 및 이그레스 지표와 대조해, 둘 중 어느 것을 고치기 전에 겹쳐 있던 두 원인을 먼저 분리했습니다.
해결책
- 에이전트 내부 텔레메트리를 활성화하고 수집해 플러시 실패와 누락된 페이로드를 직접 확인할 수 있도록 개선
- 누락 시간대를 파드 종료 이벤트와 대조해 수명이 짧은 워크로드를 별도의 장애 유형으로 분리
- 배치 워크로드가 종료 전에 마지막 데이터를 보고하도록 파드 종료 유예 기간과 에이전트 플러시 동작 조정
- 에이전트 재시도가 가리고 있던 피크 시간대 누락을 드러내도록 이그레스 경로 계측
- 네트워크 정책을 수정하고, 실제 누락이 침묵이 아닌 오류로 드러나도록 에이전트 재시도 및 백오프 설정 튜닝
- 향후 텔레메트리 손실을 나중에 우연히 발견하는 대신 감지할 수 있도록 에이전트가 보고하는 누락 건수에 알림 추가
성과
수명이 짧은 워크로드의 텔레메트리 누락이 완전히 사라졌고, 이그레스 정책을 수정한 뒤 피크 시간대 손실은 사실상 0이 되었습니다. 이제 고객은 이전에는 짐작에 의존해야 했던, 실제 서비스 장애와 수집 실패를 구분할 수 있습니다.