Visão geral
Uma plataforma de comércio ficou sem visibilidade sobre as métricas quando os seus servidores Prometheus começaram a ser terminados por OOM poucos minutos depois de arrancarem. O gatilho foi um deployment aplicacional de rotina; a causa, uma única label nova.
Desafio
Uma equipa tinha acrescentado um identificador de utilizador como label num contador de pedidos. Cada utilizador distinto criava uma nova série temporal, pelo que o número de séries ativas crescia sem limite nas horas de maior tráfego. O Prometheus consumia memória até o kernel o terminar e, ao reiniciar, tinha de fazer o replay de um write-ahead log que tinha crescido de forma descomunal, o que demorava tanto que o processo voltava a ser terminado antes de concluir. O sistema de monitorização estava preso num ciclo de crashes de que não conseguia sair sozinho, e a equipa ficava sem qualquer métrica enquanto estava em baixo.
Ambiente
Prometheus em Kubernetes a fazer scrape de várias centenas de targets, a alimentar dashboards Grafana e rotas do Alertmanager.
Abordagem
A primeira prioridade era conseguir que um processo Prometheus se mantivesse ativo, o que obrigava a quebrar o ciclo de replay do WAL antes de tratar da métrica em si. Arrancámos o servidor num estado que lhe permitisse concluir o replay, identificámos a série problemática pela cardinalidade, eliminámo-la na fase de relabeling para que deixasse de ser ingerida e, por fim, criámos salvaguardas para que o mesmo tipo de erro não se possa repetir sem ninguém dar por isso.
Solução
- Quebrámos o ciclo de crashes dando ao processo margem suficiente para concluir o replay do WAL e confirmámos depois que o bloqueio se devia à memória e não a corrupção
- Ordenámos as séries por cardinalidade com o TSDB status para identificar a label problemática em minutos, em vez de por inspeção manual
- Eliminámos a label sem limite em metric_relabel_configs, para que deixasse de ser ingerida independentemente do que a aplicação emita
- Aplicámos sample_limit e label_limit por scrape config, para que um único target problemático não possa voltar a deitar abaixo o servidor
- Adicionámos um alerta de cardinalidade sobre a taxa de crescimento das séries ativas, que dispara antes de a memória chegar a um nível crítico
- Trabalhámos com a equipa da aplicação no padrão correto: a identidade do utilizador pertence aos logs e aos traces, não às labels das métricas
Resultado final
O número de séries ativas voltou a um nível sustentável e o ciclo de crashes por OOM terminou no próprio dia. Desde então, os limites ao nível do scrape já travaram na ingestão mais dois erros de cardinalidade, antes de qualquer deles afetar o servidor.