Voltar para todos os casos de uso

SuporteServiços financeiros / pagamentos

O fim do ponto cego de uma hora no monitoramento após cada reinício do Prometheus

Processadora global de pagamentos

Suporte contínuo para instâncias grandes de Prometheus em que os reinícios causavam longos pontos cegos de monitoramento por causa do replay lento do write-ahead log.

Visão geral

Uma processadora de pagamentos não podia reiniciar o Prometheus em horário comercial porque o replay demorava o suficiente para deixar uma lacuna considerável no monitoramento. Isso transformava a aplicação rotineira de patches em um problema de agenda. A AceMQ oferece suporte contínuo que cobre o comportamento nos reinícios, a retenção e a disponibilidade do próprio caminho das métricas.

Desafio

Cada instância do Prometheus tinha uma quantidade muito alta de séries ativas, então o replay do WAL na inicialização demorava muito, e a instância não atendia nenhuma consulta até terminar. Qualquer despejo de nó, recarga de configuração que exigisse reinício ou upgrade de versão gerava um ponto cego que a equipe de risco não aceitava durante o horário de negociação. A solução óbvia — rodar uma segunda réplica — já tinha sido tentada, mas produzia resultados de consulta inconsistentes porque as réplicas não eram deduplicadas.

Ambiente

Pares de Prometheus por região em Kubernetes com storage de longo prazo, grande quantidade de séries ativas e janelas de mudança reguladas.

Abordagem

Atacamos o ponto cego por duas frentes: reduzir o trabalho de replay em si e tornar o reinício invisível para quem consulta. Cortar a quantidade de séries com relabeling encurtou o replay diretamente. Adicionar uma deduplicação adequada de réplicas à frente do par permitiu que uma instância reiniciasse enquanto a outra atendia, o que transformou os reinícios em operações comuns.

Solução

  1. Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores que conhecem a topologia de cada região
  2. Redução da quantidade de séries com descarte de métricas não usadas via relabel e consolidação de exporters duplicados
  3. Pares de Prometheus em alta disponibilidade atrás de uma camada de consulta com deduplicação, para que uma instância possa reiniciar de forma transparente
  4. Ajuste da retenção e da duração dos blocos para reduzir o tamanho do WAL e encurtar o replay sem perder o intervalo de consulta
  5. Procedimentos de reinício, upgrade e recarga de configuração documentados e ensaiados para a janela de mudança regulada
  6. Revisão periódica do crescimento das séries para que o tempo de replay continue sob controle à medida que novos serviços entram

Resultado obtido

Os reinícios deixaram de gerar lacunas visíveis no monitoramento, e a aplicação de patches deixou de ser um exercício agendado fora do horário para virar uma operação rolling de rotina. O tempo de replay em si caiu bem mais da metade depois que as séries não usadas foram descartadas.

Tecnologias

PrometheusThanosKubernetesGrafana

Precisa de suporte especializado em Prometheus?

Os engenheiros Prometheus sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.