Leitfaden · Kafka

Leitfaden zu Kafka-Monitoring und Alerting

Die meisten Kafka-Dashboards zeigen alles und alarmieren bei nichts Nützlichem. Der Cluster ist grün, die Consumer hängen Stunden hinterher, und der Erste, der es merkt, sitzt nachgelagert. Dieser Leitfaden trennt die Handvoll Metriken, die ein echtes Problem signalisieren, von den Hunderten, die Kafka bereitstellt – und sagt, bei welchem Wert jede davon alarmieren sollte.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 5 Min. Lesezeit · 7 Abschnitte

Auf dieser Seite

Kafka-Monitoring in einem Absatz

Kafka-Monitoring in einem Absatz

Kafka stellt seine Metriken über JMX bereit; die Frage der Erfassung ist also nur, welchen Exporter Sie darauf ansetzen. Auf den Brokern tragen vier Zahlen den größten Teil des Signals: UnderReplicatedPartitions und UnderMinIsrPartitionCount zeigen, dass die Replikation beeinträchtigt ist – im zweiten Fall schlagen acks=all-Writes bereits fehl; OfflinePartitionsCount über null bedeutet, dass Daten genau jetzt nicht verfügbar sind; und ActiveControllerCount muss über den Cluster summiert genau eins ergeben. Darunter zeigen die Idle-Prozentwerte von Request Handlern und Network Processors, ob die Broker noch Reserven haben. Auf Client-Seite zählt der Consumer Lag als Rate und als Zeit bis zum Aufholen, nicht als reiner Offset-Abstand, und Fehlerrate sowie Request-Latenz der Producer zeigen, wie sich der Acknowledgement-Pfad verschlechtert, bevor er versagt. Alarmieren Sie bei den vier Broker-Bedingungen, bei Lag, der länger wächst als ein Deployment dauert, und bei Producer-Fehlern; alles andere gehört in Graphen.

Erfassung: JMX und was Sie damit machen

Jede Broker-, Producer- und Consumer-Metrik, die Kafka führt, wird über JMX bereitgestellt. In der Praxis heißt das: den Prometheus JMX Exporter als Java-Agent auf jedem Broker betreiben und Client-Metriken direkt aus den Anwendungen scrapen, statt sie vom Broker abzuleiten. Der Consumer Lag ist die Ausnahme, die einen eigenen Exporter verdient, denn die Sicht des Brokers und die des Consumers widersprechen sich genau in den Situationen, auf die es ankommt: Ein Consumer, der nicht mehr pollt, hat weiterhin committete Offsets in __consumer_offsets liegen, sodass die Gruppe von außen lebendig aussieht.

Zustand der Replikation: die vier Broker-Kennzahlen

UnderReplicatedPartitions über null bedeutet, dass mindestens ein Follower aus dem In-Sync Replica Set gefallen ist: Der Cluster bedient weiter Anfragen, aber Sie haben Redundanz verloren. UnderMinIsrPartitionCount ist ernster, denn eine Partition unter min.insync.replicas lehnt jeden Produce-Request mit acks=all ab – die Producer scheitern also, während die Broker als verfügbar erscheinen. OfflinePartitionsCount über null bedeutet, dass Partitionen keinen Leader haben und weder für Reads noch für Writes verfügbar sind. Und ActiveControllerCount muss über den Cluster summiert eins ergeben; null bedeutet keinen Controller, zwei einen Split Brain. Diese vier gehören auf die Liste, bei der jemand geweckt wird.

Auslastung: Request Handler, Netzwerk-Threads und Disk

RequestHandlerAvgIdlePercent und NetworkProcessorAvgIdlePercent sind die Reserven der Broker. Dauerhafte Werte unter etwa 30 Prozent bedeuten, dass die Thread-Pools der Engpass sind und alles dahinter langsamer wird – auch die Replikation. So wird aus einem Auslastungsproblem ein Problem mit unterreplizierten Partitionen. Beobachten Sie parallel die Raten, mit denen der ISR schrumpft und wächst: Ein Cluster, dessen ISR immer wieder schrumpft und wächst, hat meist zu wenig I/O oder Netzwerk, nicht zu wenige Broker. Volllaufende Disks sind der andere Klassiker, und gesteuert werden sie über die Retention.

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

Consumer Lag: eine Rate, keine Zahl

Lag ist der Abstand zwischen dem Log End Offset einer Partition und dem committeten Offset der Consumer Group. Der absolute Wert ist für sich genommen nahezu bedeutungslos, denn ein gesunder Consumer mit hohem Durchsatz kann Tausende Nachrichten zurückliegen und in Sekunden aufholen. Entscheidend ist, ob der Lag wächst und wie lange die Gruppe bei ihrer aktuellen Verarbeitungsrate bräuchte, um wieder auf null zu kommen. Alarmieren Sie bei anhaltendem Wachstum über ein Zeitfenster, das länger ist als ein normales Deployment, und wenn die Zeit bis zum Aufholen das übersteigt, was das nachgelagerte System verkraftet. Ein statischer Schwellenwert alarmiert bei jedem Rolling Restart und bringt allen bei, ihn zu ignorieren.

Rebalances: zählen und den Auslöser finden

Ein Rebalance stoppt den Konsum der gesamten Gruppe, während die Partitionen neu zugewiesen werden – die Rebalance-Häufigkeit ist also eine Metrik für die Verfügbarkeit des Konsums. Erfassen Sie sie pro Gruppe. Eine Gruppe, die in regelmäßigen Abständen rebalanced, überschreitet fast immer max.poll.interval.ms, weil die Verarbeitung eines Batches länger dauert als das konfigurierte Intervall, oder verliert Mitglieder durch Session-Timeouts. Die Lösung liegt beim Auslöser, nicht beim Timeout – Cooperative Sticky Assignment und Static Group Membership senken allerdings die Kosten jedes Rebalances, während Sie ihn suchen.

Producer-Seite: Fehlerrate und Latenzpfad

Eine Record-Fehlerrate der Producer über null ist immer einen Alarm wert, denn ein Producer, der nicht schreiben kann, verliert Daten – es sei denn, die Anwendung behandelt den Fehler sauber, und die meisten tun das nicht. Die Request-Latenz ist der Frühindikator: Sie steigt, wenn sich der Acknowledgement-Pfad verschlechtert, lange bevor Timeouts auftreten. Fällt buffer-available-bytes gegen null, produziert der Client schneller, als er senden kann, und beginnt je nach Konfiguration zu blockieren oder zu verwerfen. Alle drei sind clientseitige Metriken – deshalb sind Sie blind für das Fehlerbild, das Nutzer zuerst bemerken, wenn Sie nur die Broker scrapen.

Die Alarmliste, die sich lohnt

Alarmieren (Pager) bei: Offline Partitions über null, Under-Min-ISR Partitions über null, einer Active Controller Count ungleich eins, einer Producer-Fehlerrate über null und einem Consumer Lag, der länger wächst als ein Deployment-Fenster. Ticket statt Pager: Under-Replicated Partitions, die sich innerhalb von Minuten erholen, Request Handler Idle unter dreißig Prozent, eine Rebalance-Rate über der Baseline, Disk-Belegung über siebzig Prozent. Alles andere gehört auf ein Dashboard, das sich jemand während eines Incidents ansieht, nicht in eine Rufbereitschaft. Der Test für einen Alarm ist, ob die geweckte Person um drei Uhr morgens etwas dagegen tun kann.

Häufig gestellte Fragen

Bei welchen Kafka-Metriken sollte tatsächlich jemand alarmiert werden?

Bei Offline Partitions über null, Under-Min-ISR Partitions über null, einer Active Controller Count ungleich eins, einer Record-Fehlerrate der Producer über null und einem Consumer Lag, der über ein Zeitfenster wächst, das länger ist als ein Deployment. Under-Replicated Partitions und ausgelastete Thread-Pools sind ein Ticket wert, aber keinen Pager-Alarm – es sei denn, sie halten an.

Was ist der Unterschied zwischen Under-Replicated und Under-Min-ISR Partitions?

Under-Replicated bedeutet, dass ein Follower aus dem In-Sync Replica Set gefallen ist: Die Redundanz ist reduziert, aber die Partition bedient weiter Anfragen. Under-Min-ISR bedeutet, dass das In-Sync Set unter min.insync.replicas gefallen ist, sodass Produce-Requests mit acks=all bereits abgelehnt werden, während die Broker selbst gesund aussehen.

Wie sollte man beim Consumer Lag alarmieren?

Als Rate und als Zeit bis zum Aufholen, nicht als absoluten Offset-Abstand. Ein gesunder Consumer mit hohem Durchsatz kann weit zurückliegen und sich in Sekunden erholen, daher alarmiert ein statischer Schwellenwert bei jedem Rolling Restart. Alarmieren Sie bei Lag, der über ein normales Deployment-Fenster hinaus weiter wächst.

Reicht Broker-Monitoring aus, oder zählen auch Client-Metriken?

Client-Metriken zählen, und reines Broker-Monitoring übersieht die Fehler, die Nutzer zuerst bemerken. Fehlerrate und Request-Latenz der Producer sowie der Consumer Lag liegen auf der Client-Seite; ein Consumer, der nicht mehr pollt, kann aus Sicht der committeten Offsets beim Broker trotzdem lebendig aussehen.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben