Guida · Kafka

La guida al monitoraggio e agli alert di Kafka

La maggior parte delle dashboard Kafka mostra tutto e non genera alcun alert utile. Il cluster è verde, i consumer sono indietro di ore e il primo ad accorgersene è chi sta a valle. Questa guida separa le poche metriche che segnalano un problema reale dalle centinaia esposte da Kafka, e indica per ciascuna quando deve far scattare una chiamata di reperibilità.

Tyler Eastridge

Di Tyler Eastridge, Responsabile delle operazioni

LinkedIn · Aggiornato il · 5 min di lettura · 7 sezioni

In questa pagina

Il monitoraggio di Kafka in un paragrafo

Il monitoraggio di Kafka in un paragrafo

Kafka pubblica le sue metriche tramite JMX, quindi per la raccolta basta scegliere l'exporter da collegarvi. Sui broker, quattro valori portano gran parte del segnale: UnderReplicatedPartitions e UnderMinIsrPartitionCount indicano che la replica è degradata e, nel secondo caso, che le scritture acks=all stanno già fallendo; OfflinePartitionsCount sopra zero significa che i dati sono indisponibili in questo momento; e ActiveControllerCount sommato su tutto il cluster deve valere esattamente uno. Al livello successivo, le percentuali di idle dei request handler e dei network processor indicano se i broker hanno margine. Lato client, il consumer lag conta come tasso e come tempo di recupero, non come distanza grezza in offset, mentre il tasso di errore e la latenza delle richieste dei producer mostrano il degrado del percorso di acknowledgement prima che fallisca. Allertate sulle quattro condizioni dei broker, sul lag che cresce più a lungo di quanto duri un deploy e sugli errori dei producer; il resto mettetelo in un grafico.

Raccolta: JMX e come sfruttarlo

Ogni metrica di broker, producer e consumer che Kafka conserva è esposta tramite JMX. In pratica significa eseguire il Prometheus JMX exporter come Java agent su ciascun broker e raccogliere le metriche dei client dalle applicazioni stesse, anziché dedurle dal broker. Il consumer lag è l'eccezione che merita un exporter dedicato, perché la vista lato broker e quella del consumer divergono proprio nelle situazioni che contano: un consumer che ha smesso di fare polling ha ancora offset committati in __consumer_offsets, quindi dall'esterno il gruppo sembra attivo.

Stato della replica: i quattro valori dei broker

UnderReplicatedPartitions sopra zero significa che almeno un follower è uscito dall'insieme delle repliche in-sync: il cluster continua a servire, ma avete perso ridondanza. UnderMinIsrPartitionCount è più grave, perché una partizione sotto min.insync.replicas rifiuta ogni richiesta di produce acks=all, quindi i producer falliscono mentre i broker sembrano attivi. OfflinePartitionsCount sopra zero significa che alcune partizioni non hanno un leader e sono indisponibili sia in lettura sia in scrittura. Infine ActiveControllerCount sommato su tutto il cluster deve essere uguale a uno; zero significa nessun controller, due significa split brain. Questi quattro sono la lista delle condizioni per cui chiamare qualcuno.

Saturazione: request handler, thread di rete e disco

RequestHandlerAvgIdlePercent e NetworkProcessorAvgIdlePercent rappresentano il margine dei broker. Valori stabilmente inferiori al 30 per cento circa indicano che i thread pool sono il collo di bottiglia e che tutto ciò che sta a valle rallenta, replica compresa: è così che un problema di saturazione si trasforma in un problema di partizioni sotto-replicate. Monitorate insieme i tassi di shrink ed expand dell'ISR: un cluster che riduce ed espande ripetutamente l'ISR è di solito a corto di IO o di rete, non di broker. L'esaurimento del disco è l'altro classico, ed è la retention a governarlo.

Obiettivi di risposta da 15 minuti, in base al piano. Ingegneri senior dedicati.

Contattateci

Consumer lag: un tasso, non un numero

Il lag è la distanza tra il log end offset di una partizione e l'offset committato dal consumer group. Il valore assoluto, preso da solo, è quasi privo di significato, perché un consumer sano ad alto throughput può restare indietro di migliaia di messaggi e recuperare in pochi secondi. Ciò che conta è se il lag sta crescendo e quanto tempo impiegherebbe il gruppo a tornare a zero al ritmo di consumo attuale. Allertate su una crescita costante in una finestra più lunga di un normale deploy e sul tempo di recupero che supera quanto il sistema a valle può tollerare. Una soglia statica fa scattare chiamate a ogni rolling restart e insegna a tutti a ignorarla.

Rebalance: contarli e trovarne la causa

Un rebalance blocca il consumo dell'intero gruppo mentre le partizioni vengono riassegnate, quindi la frequenza dei rebalance è una metrica di disponibilità del consumo. Monitoratela per gruppo. Un gruppo che va in rebalance con regolarità quasi sempre supera max.poll.interval.ms perché l'elaborazione di un batch dura più dell'intervallo configurato, oppure perde membri per timeout di sessione. La soluzione è eliminare la causa, non alzare il timeout, anche se l'assegnazione cooperative sticky e la static group membership riducono il costo di ogni rebalance mentre la si individua.

Lato producer: tasso di errore e percorso della latenza

Un tasso di errore dei record del producer sopra zero merita sempre un alert, perché un producer che non riesce a scrivere perde dati a meno che l'applicazione non gestisca bene il fallimento, e la maggior parte non lo fa. La latenza delle richieste è l'indicatore anticipatore: cresce man mano che il percorso di acknowledgement si degrada, ben prima che inizino i timeout. Un valore di buffer-available-bytes che scende verso zero indica che il client produce più velocemente di quanto riesca a inviare e, a seconda della configurazione, inizierà a bloccarsi o a scartare messaggi. Sono tutte e tre metriche lato client, ed è per questo che raccogliere solo quelle dei broker lascia ciechi proprio sulla modalità di guasto che gli utenti notano per prima.

La lista di alert che vale la pena avere

Chiamata di reperibilità per: partizioni offline sopra zero, partizioni under-min-ISR sopra zero, numero di controller attivi diverso da uno, tasso di errore dei producer sopra zero e consumer lag in crescita per più di una finestra di deploy. Ticket, senza chiamata: partizioni sotto-replicate che si ripristinano in pochi minuti, idle dei request handler sotto il trenta per cento, tasso di rebalance sopra la baseline, disco oltre il settanta per cento. Tutto il resto va su una dashboard da consultare durante un incidente, non in un turno di reperibilità. La prova del nove di un alert è se la persona svegliata può fare qualcosa alle tre di notte.

Domande frequenti

Quali metriche Kafka dovrebbero far scattare una chiamata di reperibilità?

Partizioni offline sopra zero, partizioni under-min-ISR sopra zero, numero di controller attivi diverso da uno, tasso di errore dei record dei producer sopra zero e consumer lag in crescita in una finestra più lunga di un deploy. Le partizioni sotto-replicate e la saturazione dei thread pool meritano un ticket anziché una chiamata, a meno che non persistano.

Qual è la differenza tra partizioni under-replicated e under-min-ISR?

Under-replicated significa che un follower è uscito dall'insieme delle repliche in-sync: la ridondanza è ridotta ma la partizione continua a servire. Under-min-ISR significa che l'insieme in-sync è sceso sotto min.insync.replicas, quindi le richieste di produce con acks=all vengono già rifiutate mentre i broker sembrano in salute.

Come si impostano gli alert sul consumer lag?

Come tasso e come tempo di recupero, non come distanza assoluta in offset. Un consumer sano ad alto throughput può restare molto indietro e recuperare in pochi secondi, quindi una soglia statica fa scattare chiamate a ogni rolling restart. Allertate sul lag che continua a crescere oltre una normale finestra di deploy.

Basta monitorare i broker o contano anche le metriche dei client?

Le metriche dei client contano, e un monitoraggio limitato ai broker non vede i guasti che gli utenti notano per primi. Tasso di errore dei producer, latenza delle richieste e consumer lag stanno lato client; un consumer che ha smesso di fare polling può ancora sembrare attivo dal punto di vista del broker, che vede gli offset committati.

Consulenza gratuita

Fate esaminare a un esperto il vostro cluster Kafka

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci