Voltar a todos os casos de utilização

SuporteServiços financeiros / Pagamentos

Acabar com a hora sem monitorização após cada reinício do Prometheus

Processador de pagamentos global

Suporte contínuo para instâncias Prometheus de grande dimensão em que os reinícios provocavam longos períodos sem monitorização devido à lentidão do replay do write-ahead log.

Visão geral

Um processador de pagamentos não podia reiniciar o Prometheus em horário de expediente, porque o replay demorava o suficiente para deixar uma lacuna de monitorização considerável. Isso fazia da aplicação de patches de rotina um problema de agendamento. A AceMQ presta suporte contínuo que abrange o comportamento nos reinícios, a retenção e a disponibilidade do próprio circuito de métricas.

Desafio

Cada instância Prometheus tinha um número muito elevado de séries ativas, pelo que o replay do WAL no arranque era demorado e a instância não respondia a queries até terminar. Qualquer eviction de nó, recarregamento de configuração que exigisse reinício ou atualização de versão produzia um período sem monitorização que a equipa de risco não aceitava durante o horário de negociação. A solução óbvia (executar uma segunda réplica) tinha sido tentada, mas produzia resultados de queries inconsistentes porque as réplicas não eram desduplicadas.

Ambiente

Pares de Prometheus por região em Kubernetes com armazenamento de longo prazo, número elevado de séries ativas e janelas de alteração reguladas.

Abordagem

Atacámos o problema por duas frentes: reduzir o próprio trabalho de replay e tornar o reinício invisível para quem faz queries. Reduzir o número de séries através de relabeling encurtou diretamente o replay. Colocar uma desduplicação adequada de réplicas à frente do par permitiu que uma instância reiniciasse enquanto a outra servia, o que transformou os reinícios em operações normais.

Solução

  1. Suporte 24/7 com objetivos de resposta a partir de 15 minutos, consoante o plano, e engenheiros seniores que conhecem a topologia de cada região
  2. Redução do número de séries através da eliminação, por relabeling, de métricas não utilizadas e da consolidação de exporters duplicados
  3. Pares Prometheus de alta disponibilidade atrás de uma camada de queries com desduplicação, para que uma instância possa reiniciar de forma transparente
  4. Afinação da retenção e da duração dos blocos para reduzir o tamanho do WAL e encurtar o replay sem perder intervalo de consulta
  5. Procedimentos de reinício, atualização e recarregamento de configuração documentados e ensaiados face à janela de alteração regulada
  6. Revisão periódica do crescimento das séries para que o tempo de replay se mantenha limitado à medida que entram novos serviços

Resultado final

Os reinícios já não produzem uma lacuna de monitorização visível, e a aplicação de patches deixou de ser um exercício agendado fora de horas para passar a ser uma operação rolling de rotina. O próprio tempo de replay caiu bem mais de metade depois de eliminadas as séries não utilizadas.

Tecnologias

PrometheusThanosKubernetesGrafana

Precisa de suporte Prometheus especializado?

Os engenheiros seniores de Prometheus da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.