Visão geral
Uma plataforma de comércio perdeu a visibilidade das métricas quando seus servidores Prometheus passaram a ser encerrados por OOM poucos minutos depois de iniciar. O gatilho foi um deploy de aplicação de rotina; a causa, um único label novo.
Desafio
Uma equipe tinha adicionado um identificador de usuário como label em um contador de requisições. Cada usuário diferente criava uma nova série temporal, e a quantidade de séries ativas crescia sem limite nos horários de tráfego. O Prometheus consumia memória até o kernel encerrá-lo e, ao reiniciar, precisava reprocessar um write-ahead log que tinha crescido enormemente, o que demorava tanto que o processo era encerrado de novo antes de terminar. O sistema de monitoramento estava preso em um ciclo de crashes do qual não conseguia sair sozinho, e a equipe ficou sem nenhuma métrica enquanto ele estava fora do ar.
Ambiente
Prometheus em Kubernetes coletando métricas de várias centenas de alvos, alimentando dashboards do Grafana e rotas do Alertmanager.
Abordagem
A primeira prioridade era manter um processo do Prometheus de pé, o que significava quebrar o ciclo de replay do WAL antes de tratar a métrica em si. Subimos o servidor em um estado em que ele conseguia concluir o replay, identificamos a série problemática pela cardinalidade, descartamos o label na etapa de relabel para que ele deixasse de ser ingerido e, em seguida, criamos proteções para que o mesmo tipo de erro não possa se repetir em silêncio.
Solução
- Quebra do ciclo de crashes com folga de recursos suficiente para o processo concluir o replay do WAL, confirmando em seguida que o bloqueio era de memória, e não de corrupção
- Classificação das séries por cardinalidade com o status do TSDB, para identificar o label problemático em minutos, e não por inspeção manual
- Descarte do label sem limite em metric_relabel_configs, para que ele deixasse de ser ingerido independentemente do que a aplicação emite
- Aplicação de sample_limit e label_limit em cada scrape config, para que um único alvo com problema não derrube o servidor de novo
- Alerta de cardinalidade sobre a taxa de crescimento das séries ativas, que dispara antes de a memória chegar a um nível crítico
- Trabalho com a equipe da aplicação no padrão correto: a identidade do usuário pertence a logs e traces, não a labels de métricas
Resultado obtido
A quantidade de séries ativas voltou a um nível sustentável, e o ciclo de crashes por OOM terminou no mesmo dia. Desde então, os limites no nível do scrape já barraram na ingestão mais dois erros de cardinalidade, antes que qualquer um deles afetasse o servidor.