Nesta página
A monitorização do Kafka num parágrafo
A monitorização do Kafka num parágrafo
O Kafka publica as suas métricas via JMX, pelo que, na recolha, a única questão é que exporter lhe aponta. Nos brokers, quatro números concentram a maior parte do sinal: UnderReplicatedPartitions e UnderMinIsrPartitionCount indicam que a replicação está degradada e, no segundo caso, que as escritas com acks=all já estão a falhar; OfflinePartitionsCount acima de zero significa que há dados indisponíveis neste momento; e o ActiveControllerCount somado em todo o cluster tem de ser exatamente um. Abaixo destes, as percentagens de inatividade dos request handlers e dos network processors indicam se os brokers têm margem. Do lado dos clientes, o consumer lag importa como taxa e como tempo de recuperação, e não como distância bruta em offsets, e a taxa de erros e a latência dos pedidos do producer mostram a degradação do circuito de acknowledgement antes de este falhar. Alerte para as quatro condições dos brokers, para lag que cresce durante mais tempo do que demora um deploy e para erros do producer; o resto vai para gráficos.
Recolha: JMX e o que fazer com ele
Todas as métricas de broker, producer e consumer que o Kafka mantém são expostas via JMX. Na prática, isso significa executar o Prometheus JMX exporter como agente Java em cada broker e recolher as métricas de cliente nas próprias aplicações, em vez de as inferir a partir do broker. O consumer lag é a exceção que justifica um exporter dedicado, porque a perspetiva do broker e a do próprio consumidor divergem precisamente nas situações que lhe interessam: um consumidor que deixou de fazer poll continua a ter offsets confirmados em __consumer_offsets, pelo que o grupo parece vivo visto de fora.
Saúde da replicação: os quatro números dos brokers
UnderReplicatedPartitions acima de zero significa que pelo menos um follower saiu do conjunto de réplicas sincronizadas: o cluster continua a servir, mas perdeu redundância. UnderMinIsrPartitionCount é mais grave, porque uma partição abaixo de min.insync.replicas rejeita todos os pedidos de produce com acks=all, pelo que os producers estão a falhar enquanto os brokers parecem operacionais. OfflinePartitionsCount acima de zero significa que há partições sem líder, indisponíveis tanto para leitura como para escrita. E o ActiveControllerCount somado em todo o cluster tem de ser igual a um; zero significa que não há controller, dois significa split-brain. Estes quatro são a lista do que deve acordar alguém.
Saturação: request handlers, threads de rede e disco
RequestHandlerAvgIdlePercent e NetworkProcessorAvgIdlePercent são a margem dos brokers. Valores sustentados abaixo de cerca de 30 por cento significam que os thread pools são o estrangulamento e tudo o que deles depende fica mais lento, incluindo a replicação, e é assim que um problema de saturação se transforma num problema de partições sub-replicadas. Acompanhe a par as taxas de contração e expansão do ISR: um cluster que contrai e expande repetidamente o ISR tem normalmente falta de IO ou de rede, e não de brokers. O disco cheio é o outro clássico, e é a retenção que o determina.
Consumer lag: uma taxa, não um número
O lag é a distância entre o log end offset de uma partição e o offset confirmado do consumer group. O valor absoluto, por si só, quase nada significa, porque um consumidor saudável de alto débito pode estar milhares de mensagens atrás e recuperar em segundos. O que importa é se o lag está a crescer e quanto tempo o grupo demoraria a voltar a zero ao ritmo de consumo atual. Alerte para crescimento sustentado numa janela mais longa do que um deploy normal e para um tempo de recuperação que ultrapasse o que o sistema a jusante consegue tolerar. Um limiar estático dispara a cada rolling restart e ensina toda a gente a ignorá-lo.
Rebalances: conte-os e encontre a causa
Um rebalance interrompe o consumo de todo o grupo enquanto as partições são reatribuídas, pelo que a frequência de rebalances é uma métrica de disponibilidade do consumo. Acompanhe-a por grupo. Um grupo que faz rebalances a intervalos regulares está quase sempre a atingir max.poll.interval.ms, porque processar um lote demora mais do que o intervalo configurado, ou a perder membros por timeouts de sessão. A solução está na causa e não no timeout, embora a atribuição cooperative sticky e a pertença estática ao grupo reduzam o custo de cada rebalance enquanto a procura.
Lado do producer: taxa de erros e o circuito de latência
Uma taxa de erros de registos do producer acima de zero justifica sempre um alerta, porque um producer que não consegue escrever está a perder dados, a menos que a aplicação trate bem a falha, e a maioria não trata. A latência dos pedidos é o indicador antecipado: sobe à medida que o circuito de acknowledgement se degrada, muito antes de começarem os timeouts. Um buffer-available-bytes a descer em direção a zero significa que o cliente está a produzir mais depressa do que consegue enviar e vai começar a bloquear ou a descartar, consoante a configuração. As três são métricas do lado do cliente, e é por isso que recolher apenas nos brokers o deixa cego para o modo de falha que os utilizadores notam primeiro.
A lista de alertas que vale a pena ter
Acione o piquete para: partições offline acima de zero, partições abaixo do min-ISR acima de zero, número de controllers ativos diferente de um, taxa de erros do producer acima de zero e consumer lag a crescer durante mais tempo do que uma janela de deploy. Abra um ticket, sem acionar o piquete, para: partições sub-replicadas que recuperam em minutos, inatividade dos request handlers abaixo de trinta por cento, taxa de rebalances acima da linha de base, disco acima de setenta por cento. Tudo o resto pertence a um dashboard que alguém consulta durante um incidente, e não a uma escala de piquete. O teste de um alerta é saber se a pessoa acordada consegue fazer alguma coisa às três da manhã.
Perguntas frequentes
Que métricas do Kafka devem realmente acionar o piquete?
Partições offline acima de zero, partições abaixo do min-ISR acima de zero, número de controllers ativos diferente de um, taxa de erros de registos do producer acima de zero e consumer lag a crescer numa janela mais longa do que um deploy. As partições sub-replicadas e a saturação dos thread pools justificam um ticket e não o piquete, a menos que persistam.
Qual é a diferença entre partições sub-replicadas e partições abaixo do min-ISR?
Sub-replicada significa que um follower saiu do conjunto de réplicas sincronizadas, pelo que a redundância diminui mas a partição continua a servir. Abaixo do min-ISR significa que o conjunto sincronizado caiu abaixo de min.insync.replicas, pelo que os pedidos de produce com acks=all já estão a ser rejeitados enquanto os próprios brokers parecem saudáveis.
Como se devem configurar os alertas de consumer lag?
Como taxa e tempo de recuperação, e não como distância absoluta em offsets. Um consumidor saudável de alto débito pode estar muito atrás e recuperar em segundos, pelo que um limiar estático dispara a cada rolling restart. Alerte para lag que continua a crescer para lá de uma janela de deploy normal.
Basta monitorizar os brokers ou as métricas de cliente também importam?
As métricas de cliente importam, e a monitorização apenas dos brokers deixa escapar as falhas que os utilizadores notam primeiro. A taxa de erros do producer, a latência dos pedidos e o consumer lag estão do lado do cliente; um consumidor que deixou de fazer poll pode continuar a parecer vivo na perspetiva que o broker tem dos offsets confirmados.