Visão geral
Um operador logístico via métricas e traces desaparecerem de forma intermitente nas cargas de trabalho de curta duração. O suporte do fornecedor confirmou que não havia nada errado do lado da plataforma, o que deixava as camadas do agente e da infraestrutura do próprio cliente como o lugar a investigar. É nessas camadas que a AceMQ atua.
Desafio
Pods de batch de curta duração eram encerrados antes que o agente esvaziasse o buffer, então suas métricas finais e os traces dos últimos segundos de execução nunca chegavam. Além disso, uma mudança na network policy tinha começado a descartar parte do tráfego de saída nos horários de pico, e o comportamento de retry do agente fazia o problema parecer intermitente em vez de sistemático. Os dois problemas pareciam um único sintoma instável, e por isso continuavam sem solução havia meses.
Ambiente
Agentes Datadog implantados como DaemonSet no Kubernetes com alta rotatividade de pods, com tráfego de saída por um caminho de rede compartilhado e aplicação de políticas.
Abordagem
A AceMQ não opera a plataforma do fornecedor: trabalhamos nas camadas que pertencem ao cliente e que o suporte do fornecedor não investiga. Instrumentamos a telemetria do próprio agente, correlacionamos as janelas de lacuna com os eventos de ciclo de vida dos pods e as métricas de egress, e separamos as duas causas sobrepostas antes de corrigir qualquer uma delas.
Solução
- Ativação e coleta da telemetria interna do agente, para que falhas de flush e payloads descartados ficassem diretamente visíveis
- Correlação das janelas de lacuna com os eventos de encerramento de pods, isolando as cargas de curta duração como uma classe de falha distinta
- Ajuste do grace period de encerramento dos pods e do comportamento de flush do agente, para que as cargas de batch enviem seus dados finais antes de sair
- Instrumentação do caminho de egress para expor os descartes nos horários de pico que os retries do agente vinham mascarando
- Correção da network policy e ajuste das configurações de retry e backoff do agente, para que descartes reais apareçam como erros em vez de silêncio
- Inclusão de alertas sobre a contagem de descartes informada pelo agente, para que futuras perdas de telemetria sejam detectadas em vez de descobertas tarde demais
Resultado obtido
As lacunas de telemetria nas cargas de curta duração acabaram por completo, e a perda nos horários de pico caiu praticamente a zero depois que a política de egress foi corrigida. Hoje o cliente consegue distinguir uma indisponibilidade real do serviço de uma falha de coleta, algo que antes era pura adivinhação.