Visão geral
Uma processadora de pagamentos não podia reiniciar o Prometheus em horário comercial porque o replay demorava o suficiente para deixar uma lacuna considerável no monitoramento. Isso transformava a aplicação rotineira de patches em um problema de agenda. A AceMQ oferece suporte contínuo que cobre o comportamento nos reinícios, a retenção e a disponibilidade do próprio caminho das métricas.
Desafio
Cada instância do Prometheus tinha uma quantidade muito alta de séries ativas, então o replay do WAL na inicialização demorava muito, e a instância não atendia nenhuma consulta até terminar. Qualquer despejo de nó, recarga de configuração que exigisse reinício ou upgrade de versão gerava um ponto cego que a equipe de risco não aceitava durante o horário de negociação. A solução óbvia — rodar uma segunda réplica — já tinha sido tentada, mas produzia resultados de consulta inconsistentes porque as réplicas não eram deduplicadas.
Ambiente
Pares de Prometheus por região em Kubernetes com storage de longo prazo, grande quantidade de séries ativas e janelas de mudança reguladas.
Abordagem
Atacamos o ponto cego por duas frentes: reduzir o trabalho de replay em si e tornar o reinício invisível para quem consulta. Cortar a quantidade de séries com relabeling encurtou o replay diretamente. Adicionar uma deduplicação adequada de réplicas à frente do par permitiu que uma instância reiniciasse enquanto a outra atendia, o que transformou os reinícios em operações comuns.
Solução
- Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores que conhecem a topologia de cada região
- Redução da quantidade de séries com descarte de métricas não usadas via relabel e consolidação de exporters duplicados
- Pares de Prometheus em alta disponibilidade atrás de uma camada de consulta com deduplicação, para que uma instância possa reiniciar de forma transparente
- Ajuste da retenção e da duração dos blocos para reduzir o tamanho do WAL e encurtar o replay sem perder o intervalo de consulta
- Procedimentos de reinício, upgrade e recarga de configuração documentados e ensaiados para a janela de mudança regulada
- Revisão periódica do crescimento das séries para que o tempo de replay continue sob controle à medida que novos serviços entram
Resultado obtido
Os reinícios deixaram de gerar lacunas visíveis no monitoramento, e a aplicação de patches deixou de ser um exercício agendado fora do horário para virar uma operação rolling de rotina. O tempo de replay em si caiu bem mais da metade depois que as séries não usadas foram descartadas.