Nesta página
O monitoramento do Kafka em um parágrafo
O monitoramento do Kafka em um parágrafo
O Kafka publica as suas métricas via JMX, então a questão da coleta se resume a qual exporter você aponta para ele. Nos brokers, quatro números carregam a maior parte do sinal: UnderReplicatedPartitions e UnderMinIsrPartitionCount indicam que a replicação está degradada e, no segundo caso, que as escritas com acks=all já estão falhando; OfflinePartitionsCount acima de zero significa que há dados indisponíveis neste momento; e o ActiveControllerCount somado em todo o cluster precisa ser exatamente um. Abaixo deles, os percentuais de idle dos request handlers e dos network processors dizem se os brokers têm folga. Do lado dos clientes, o consumer lag importa como taxa e como tempo para alcançar o fim do log, e não como distância bruta em offsets, e a taxa de erros e a latência das requisições do produtor mostram o caminho de acknowledgement se degradando antes de falhar. Alerte sobre as quatro condições dos brokers, sobre um lag que cresce por mais tempo do que dura um deploy e sobre erros do produtor; o resto vai para gráficos.
Coleta: o JMX e o que fazer com ele
Todas as métricas de broker, produtor e consumidor que o Kafka mantém são expostas via JMX. Na prática, isso significa rodar o Prometheus JMX exporter como agente Java em cada broker e coletar as métricas dos clientes nas próprias aplicações, em vez de inferi-las a partir do broker. O consumer lag é a exceção que merece um exporter dedicado, porque a visão do broker e a do próprio consumidor divergem justamente nas situações que importam: um consumidor que parou de fazer poll ainda tem offsets commitados em __consumer_offsets, então o grupo parece vivo visto de fora.
Saúde da replicação: os quatro números dos brokers
UnderReplicatedPartitions acima de zero significa que pelo menos um follower saiu do conjunto de réplicas em sincronia: o cluster continua atendendo, mas você perdeu redundância. UnderMinIsrPartitionCount é mais grave, porque uma partição abaixo de min.insync.replicas rejeita toda requisição de produce com acks=all, de modo que os produtores estão falhando enquanto os brokers parecem de pé. OfflinePartitionsCount acima de zero significa que há partições sem líder, indisponíveis para leitura e escrita. E o ActiveControllerCount somado em todo o cluster precisa ser igual a um; zero significa nenhum controller, dois significa split brain. Esses quatro formam a lista de acionar alguém.
Saturação: request handlers, network threads e disco
RequestHandlerAvgIdlePercent e NetworkProcessorAvgIdlePercent representam a folga dos brokers. Valores sustentados abaixo de cerca de 30 por cento significam que os thread pools são o gargalo e tudo o que depende deles fica mais lento, inclusive a replicação, e é assim que um problema de saturação vira um problema de partições sub-replicadas. Acompanhe junto as taxas de shrink e expand do ISR: um cluster que encolhe e expande o ISR repetidamente geralmente está com falta de IO ou de rede, e não de brokers. Disco cheio é o outro clássico, e quem governa isso é a retenção.
Consumer lag: uma taxa, não um número
Lag é a distância entre o log end offset de uma partição e o offset commitado pelo consumer group. O valor absoluto, sozinho, quase não tem significado, porque um consumidor saudável de alto throughput pode ficar milhares de mensagens atrás e se atualizar em segundos. O que importa é se o lag está crescendo e quanto tempo o grupo levaria para voltar a zero no ritmo de consumo atual. Alerte sobre crescimento sustentado em uma janela maior do que um deploy normal e sobre o tempo de recuperação ultrapassar o que o sistema downstream tolera. Um limite estático aciona o plantão a cada rolling restart e ensina todo mundo a ignorá-lo.
Rebalances: conte-os e encontre o gatilho
Um rebalance interrompe o consumo de todo o grupo enquanto as partições são reatribuídas, então a frequência de rebalances é uma métrica de disponibilidade do consumo. Acompanhe-a por grupo. Um grupo que faz rebalance em intervalos regulares quase sempre está estourando o max.poll.interval.ms, porque processar um lote leva mais tempo do que o intervalo configurado, ou está perdendo membros por session timeout. A correção é no gatilho, e não no timeout, embora o cooperative sticky assignment e o static group membership reduzam o custo de cada rebalance enquanto você procura a causa.
Lado do produtor: taxa de erros e o caminho da latência
Uma taxa de erros de registros do produtor acima de zero sempre merece alerta, porque um produtor que não consegue escrever está perdendo dados, a menos que a aplicação trate bem a falha, e a maioria não trata. A latência das requisições é o indicador antecedente: ela sobe à medida que o caminho de acknowledgement se degrada, bem antes de os timeouts começarem. Um buffer-available-bytes caindo em direção a zero significa que o cliente está produzindo mais rápido do que consegue enviar e vai começar a bloquear ou descartar, dependendo da configuração. As três são métricas do lado do cliente, e é por isso que coletar apenas dos brokers deixa você cego para o modo de falha que os usuários percebem primeiro.
A lista de alertas que vale a pena ter
Acione o plantão para: partições offline acima de zero, partições abaixo do min ISR acima de zero, active controller count diferente de um, taxa de erros do produtor acima de zero e consumer lag crescendo por mais tempo do que uma janela de deploy. Abra chamado, sem acionar o plantão, para: partições sub-replicadas que se recuperam em minutos, idle dos request handlers abaixo de trinta por cento, taxa de rebalances acima da linha de base e disco acima de setenta por cento. Todo o resto pertence a um dashboard que alguém consulta durante um incidente, e não a uma escala de plantão. O teste de um alerta é se a pessoa acordada consegue fazer algo a respeito às três da manhã.
Perguntas frequentes
Quais métricas do Kafka devem realmente acionar o plantão?
Partições offline acima de zero, partições abaixo do min ISR acima de zero, active controller count diferente de um, taxa de erros de registros do produtor acima de zero e consumer lag crescendo em uma janela maior do que um deploy. Partições sub-replicadas e saturação dos thread pools merecem um chamado, e não o acionamento do plantão, a menos que persistam.
Qual é a diferença entre partições sub-replicadas e partições abaixo do min ISR?
Sub-replicada significa que um follower saiu do conjunto de réplicas em sincronia, então a redundância diminuiu, mas a partição continua atendendo. Abaixo do min ISR significa que o conjunto em sincronia caiu abaixo de min.insync.replicas, então as requisições de produce com acks=all já estão sendo rejeitadas, enquanto os próprios brokers parecem saudáveis.
Como configurar alertas de consumer lag?
Como taxa e como tempo para se atualizar, e não como distância absoluta em offsets. Um consumidor saudável de alto throughput pode ficar bem atrás e se recuperar em segundos, então um limite estático aciona o plantão a cada rolling restart. Alerte sobre um lag que continua crescendo além de uma janela normal de deploy.
Monitorar os brokers basta, ou as métricas dos clientes importam?
As métricas dos clientes importam, e monitorar só os brokers deixa passar as falhas que os usuários percebem primeiro. A taxa de erros do produtor, a latência das requisições e o consumer lag ficam do lado do cliente; um consumidor que parou de fazer poll ainda pode parecer vivo pela visão que o broker tem dos offsets commitados.