BlogKafka

Kafka Consumer Lag: Ursachen, Monitoring und wie Sie ihn senken

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 15 Min. Lesezeit

Kafka Consumer Lag: Ursachen, Monitoring und wie Sie ihn senken
Auf dieser Seite

Consumer Lag ist der Abstand zwischen der letzten in eine Partition geschriebenen Nachricht und der letzten Nachricht, die Ihre Consumer Group committet hat. Er wird pro Partition gemessen und zeigt, ob die Consumer mit den Producern Schritt halten. Ein gewisser Consumer Lag ist normal – Lag ist ein zentrales Gesundheitssignal, kein Fehler. Ein stetig wachsender Lag deutet auf ein Kapazitäts- oder Verarbeitungsproblem hin; ein Lag, der kurz hochschnellt und sich wieder erholt, ist meist ein Rebalancing oder ein Stau in einem nachgelagerten System.

Die Zahl selbst ist weniger aufschlussreich als ihr Verlauf über die Zeit – und genau hier geht beim Monitoring das meiste schief.

Was ist Kafka Consumer Lag?

Jede Partition hat einen Log End Offset – die Position des neuesten Records. Die Kafka-Offsets wandern weiter, während der Producer schreibt, und jede Kafka Consumer Group führt für diese Partition einen committeten Offset, der markiert, wie weit sie verarbeitet hat.

Consumer Lag ist die Differenz:

lag = log end offset − committed consumer offset

Ein Lag von 40.000 bedeutet, dass 40.000 Records warten. Da Offsets pro Partition gelten, ist der Gesamt-Lag einer Consumer Group die Summe über alle ihre Partitionen – und ein Durchschnitt verdeckt genau den Fall, auf den es ankommt: wenn eine einzige Partition fast den gesamten Lag trägt.

Diagramm mit Log End Offset, committetem Consumer-Offset und der Lücke dazwischen, die den Consumer Lag darstellt

Warum Consumer Lag wichtig ist

Der Lag einer Consumer Group ist das deutlichste Signal dafür, dass eine Kafka-Streaming-Pipeline zurückfällt, und seine Folgen hängen ganz davon ab, was die Daten speisen.

Bei Analytics bedeutet hoher Lag veraltete Dashboards. Bei allem Operativen ist es schlimmer. Ein Deployment, das wir begutachtet haben, transportierte mit unveränderten Open-Source-Brokern Alarm- und Event-Traffic für Netzinfrastruktur im ländlichen Raum. Dort bedeutet Lag keine verzögerte Berichterstattung, sondern einen Zeitraum, in dem die Betreiber Störungen im Netz überhaupt nicht sehen. Die Pipeline wirkt gesund, weil die Consumer-Anwendung läuft. Sie hinkt der Realität nur um Minuten hinterher.

Das ist das eigentliche Risiko: Eine zurückfallende Consumer Group ist nicht ausgefallen. Das Uptime-Monitoring bleibt grün, während sich die geschäftlichen Auswirkungen aufsummieren.

So prüfen Sie den Consumer Lag

Das mitgelieferte Tool zeigt den Lag pro Partition:

kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group my-consumer-group

Die Ausgabe liefert für jede Partition CURRENT-OFFSET, LOG-END-OFFSET und LAG sowie die Consumer-Instanz, der sie gehört. Lesen Sie sie Partition für Partition:

  • Alle Partitionen mit gleichmäßigem Lag – den Kafka-Consumern insgesamt fehlt Kapazität
  • Eine Partition mit Lag, der Rest unauffällig – Partition Skew oder eine einzelne langsame Consumer-Instanz
  • Eine Partition ohne Owner – mehr Partitionen als laufende Consumer oder ein abgestürzter Consumer

Häufige Ursachen für Consumer Lag

Der Consumer verarbeitet langsamer, als der Kafka-Producer schreibt. Der Normalfall. Jeder Record braucht länger in der Verarbeitung als der Abstand, in dem Records eintreffen, also wächst der Rückstau monoton.

Zu wenige Consumer-Instanzen. Die Parallelität innerhalb einer Consumer Group ist durch die Zahl der Partitionen begrenzt. Zwölf Partitionen bedeuten höchstens zwölf sinnvolle Consumer – ein dreizehnter bleibt untätig. Ist diese Parität bereits erreicht, helfen zusätzliche Consumer nicht; Sie brauchen mehr Partitionen oder eine schnellere Verarbeitung.

Partition Skew. Ein ungünstig gewählter Key schickt den Großteil des Traffics in eine Partition, sodass sich der Partition-Lag an einer Stelle konzentriert. Der zuständige Consumer geht unter, während seine Peers nichts zu tun haben – und der Gesamtdurchsatz sieht unauffällig aus.

Ein Engpass in nachgelagerten Systemen. Langsame Datenbank-Schreibvorgänge, eine API mit Rate Limit oder ein überlasteter Cache führen alle zu Consumer Lag, weil der Consumer-Code wartet, statt zu rechnen. Kafka ist selten der limitierende Faktor – meist macht es nur den Engpass eines anderen Systems sichtbar.

Rebalancing. Jedes Mal, wenn ein Consumer der Group beitritt oder sie verlässt, werden Partitionen neu zugewiesen, und die Verarbeitung pausiert. Häufige Rebalances erzeugen wiederholte Lag-Spitzen, ohne dass ein echtes Kapazitätsproblem dahintersteht.

Consumer-Konfiguration. Ist max.poll.records zu hoch, kann ein Batch nicht innerhalb von max.poll.interval.ms verarbeitet werden. Der Koordinator hält den Consumer für tot und wirft ihn aus der Group – und löst damit genau das Rebalancing aus, das den Lag verschlimmert. Diese Rückkopplungsschleife ist das mit Abstand häufigste selbstverschuldete Lag-Problem.

Garbage-Collection-Pausen. Lange GC-Stillstände in der Consumer-Anwendung sehen genauso aus wie langsame Verarbeitung und werden leicht übersehen, wenn neben den Lag-Metriken keine JVM-Metriken vorliegen.

Lag-Ansicht pro Partition: Eine heiße Partition hinkt hinterher, während der Rest der Consumer Group Schritt hält

Nachrichten zählen oder Zeit messen

Diese Unterscheidung übersieht das meiste Monitoring. Offset-Lag zählt Nachrichten; erst die Zeitmessung zeigt, wie weit Ihr Consumer tatsächlich hinter der Gegenwart liegt.

Zehntausend Records sagen für sich genommen nichts aus. Bei einem Topic mit zehn Records pro Sekunde sind das rund siebzehn Minuten Rückstand. Bei einem Topic mit zehntausend Records pro Sekunde ist es eine Sekunde – völlig unbedenklich.

Alarme auf reine Offset-Zahlen erzeugen deshalb beides: Fehlalarme bei Traffic-Spitzen und Stille bei echten Verlangsamungen auf ruhigen Topics. Ermitteln Sie, wo immer möglich, das Alter des nächsten unverarbeiteten Records und setzen Sie die Lag-Schwellenwerte daran an. Das beantwortet direkt die Frage, die in einem Incident tatsächlich jeder stellt: Wie veraltet sind diese Daten gerade?

Vergleich von Offset-Lag in Nachrichten und Zeit-Lag in Sekunden hinter dem Producer

Consumer-Lag-Monitoring: Tools und Metriken

Die Optionen, grob nach betrieblichem Reifegrad sortiert:

ToolGeeignet für
kafka-consumer-groups.shAd-hoc-Prüfungen während eines Incidents
Confluent-/MSK-DashboardsManaged Monitoring
Kafka Lag ExporterPrometheus-Metriken inklusive geschätzter Zeitangabe
BurrowStatus von Consumer Groups ohne feste Schwellenwerte
JMX records-lag-maxClientseitiger Lag direkt vom Consumer
Conduktor, Confluent Control CenterUI-gestütztes Monitoring über mehrere Cluster

Für die meisten Teams ist Lag-Monitoring über Kafka Lag Exporter nach Prometheus mit Grafana-Dashboards die richtige Basis – es zeigt den Lag pro Partition und schätzt die vergangene Zeit, was die reine JMX-Metrik nicht leistet.

Egal, wofür Sie sich entscheiden: Kafka Consumer Lag allein zu überwachen reicht nicht. Verfolgen Sie diese Lag-Metriken zusammen mit der Kafka-Performance, dem Consumer-Durchsatz, der Rebalance-Häufigkeit und der Latenz nachgelagerter Systeme. Der Lag sagt Ihnen, dass etwas nicht stimmt; diese Werte sagen Ihnen, was.

Alarmieren Sie auf den Trend, nicht auf den Pegel. Ein Anstieg, der zehn Minuten anhält, ist ein echtes Signal. Eine kurze Spitze nach einem Deployment ist es nicht.

Consumer Lag, dessen Ursache Sie nicht finden? Solche Probleme liegen meist hinter dem Broker – im Consumer-Code, im Partitionsdesign oder in einer Abhängigkeit, die niemand im Blick hat. AceMQ führt Kafka-Architektur-Assessments durch, die sie aufspüren. Sprechen Sie mit einem AceMQ-Engineer.

So reduzieren Sie Consumer Lag

Skalieren Sie die Consumer-Instanzen bis zur Zahl der Partitionen. Die günstigste Lösung, solange Sie unter der Parität liegen. Darüber hinaus fügen Sie zuerst Partitionen hinzu – allerdings ändert ein Repartitioning die Zuordnung von Keys zu Partitionen und die Reihenfolgegarantien. Planen Sie es also, statt es im laufenden Betrieb zu tun.

Korrigieren Sie den Partition Key. Wenn eine Partition die ganze Last trägt, hilft keine Skalierung. Ein Key mit besserer Kardinalität verteilt die Arbeit gleichmäßig.

Optimieren Sie die Poll-Schleife. Senken Sie max.poll.records, damit ein Batch bequem innerhalb von max.poll.interval.ms fertig wird. Erhöhen Sie das Intervall, wenn die Verarbeitung tatsächlich lange dauert. Sind beide Werte aufeinander abgestimmt, endet der Kreislauf aus Rauswurf und Rebalancing.

Bündeln Sie Schreibvorgänge in nachgelagerte Systeme. Wenn jeder Record einen eigenen Roundtrip zur Datenbank auslöst, ist Batching meist die größte einzelne Verbesserung, die zur Verfügung steht.

Verarbeiten Sie asynchron, wo die Reihenfolge es zulässt. Wer die Poll-Schleife von langsamer Arbeit entkoppelt, hält den Consumer für den Koordinator ansprechbar – nimmt dafür aber zusätzliche Komplexität beim Committen der Offsets in Kauf.

Nutzen Sie Cooperative Rebalancing. Inkrementelles kooperatives Assignment vermeidet die Stop-the-World-Pause des Eager Rebalancing, sodass das Skalieren einer Consumer Group nicht mehr jede Partition anhält.

Rebalancing von Consumer Groups

Rebalancing ist eine häufige Ursache für Lag-Spitzen – und die am wenigsten verstandene.

Wenn ein Consumer der Group beitritt oder sie verlässt, werden die Partitionen neu zugewiesen. Beim Eager-Protokoll stoppt jeder Consumer, gibt alles frei und wartet auf die neue Zuweisung – eine Pause, die mit der Größe der Group wächst. Beim Cooperative Rebalancing werden nur die Partitionen pausiert, die tatsächlich umziehen.

Rebalance-Stürme – wiederholte Rebalances in kurzer Folge – gehen meist auf Consumer zurück, die aus der Group geworfen werden, weil sie max.poll.interval.ms verpassen. Das ist das oben beschriebene Konfigurationsproblem in anderem Gewand. Wenn der Lag in einem Sägezahnmuster ausschlägt, prüfen Sie die Rebalance-Häufigkeit, bevor Sie Kapazität hinzufügen.

Best Practices

  • Überwachen Sie den Consumer Lag pro Partition, nie nur die Summe der Group – Skew versteckt sich in Durchschnittswerten
  • Alarmieren Sie auf die vergangene Zeit, wo verfügbar, und auf den Trend statt auf den absoluten Pegel
  • Halten Sie die Zahl der Consumer ≤ der Zahl der Partitionen und wissen Sie, welcher der beiden Werte Ihre Obergrenze ist
  • Stimmen Sie max.poll.records und max.poll.interval.ms auf die reale Verarbeitungszeit ab
  • Behandeln Sie die Rebalance-Häufigkeit als vollwertige Metrik neben Ihren Lag-Metriken
  • Instrumentieren Sie die Latenz nachgelagerter Systeme – dort liegt meist die Ursache, nicht in einem gesunden Kafka-Cluster
  • Machen Sie Lasttests mit der Consumer-Anwendung, nicht nur mit dem Cluster

Der Broker ist selten die Komponente, die ausfällt. Er ist die Komponente, die die Grenzen aller anderen messbar macht. Wenn Sie ihn gegen andere Messaging-Plattformen abwägen, zeigt RabbitMQ Streams vs. Apache Kafka, wo welche Lösung passt. Für Produktions-Deployments bietet AceMQ Kafka-Support und Incident Response.

Ein Lag, der immer wiederkehrt, ist meist ein Designsymptom und kein Tuning-Problem – was ein Kafka Health Check untersucht beschreibt die Prüfungen, die ihn als Erstes aufdecken.

Kafka Consumer Lag überwachen: die vier Wege und wann welcher genügt

Es gibt vier Stellen, an denen Sie den Consumer Lag ablesen können, und sie beantworten unterschiedliche Fragen. Die falsche zu wählen ist der häufigste Grund, warum ein Team glaubt, Lag-Monitoring zu haben – und erst im Incident feststellt, dass das nicht stimmt.

  • 1. Die Kommandozeile. kafka-consumer-groups.sh --describe gibt eine Zeile pro Partition aus, die der Group gehört. CURRENT-OFFSET ist der letzte Offset, den die Group für diese Partition committet hat, LOG-END-OFFSET der neueste Offset des Brokers und LAG die Differenz. Es ist eine Momentaufnahme zum Zeitpunkt des Aufrufs, basierend auf dem committeten Offset – nicht darauf, wo der Consumer im Speicher tatsächlich steht. Damit ist das Tool genau richtig für eine Shell-Sitzung, wenn jemand fragt „Hängt die Group gerade hinterher?“, und genau falsch als Alarmquelle. Nichts speichert die Werte, nichts zeigt einen Trend, und ein Cron-Job, der die Ausgabe ausliest, ist ein Monitoring-System, das Sie bereuen werden.
  • 2. Die JMX-Metriken des Consumers selbst. Jeder Java-Client stellt in der Gruppe consumer-fetch-manager-metrics records-lag-max (die schlechteste Partition, die er hält) und records-lag pro Partition bereit. Das sind die genauesten verfügbaren Werte, weil sie aus der echten Fetch-Position des Consumers stammen, noch vor jedem Commit. Der Haken: Sie existieren nur, solange der Consumer-Prozess läuft und pollt. Ein Consumer, der abgestürzt ist, in einer Poll-Schleife hängt oder seine Partitionen bei einem Rebalance verloren hat, meldet gar nichts – und ein Graph ohne Datenpunkte sieht genauso aus wie ein Graph bei null. Wenn clientseitiges JMX Ihr einziges Lag-Signal ist, kann es Ihnen ausgerechnet den Ausfall nicht zeigen, den Sie am dringendsten erkennen müssen.
  • 3. Ein Lag Exporter, der Prometheus beliefert. Ein Exporter fragt bei den Brokern die committeten Offsets jeder Group und den Log End Offset jeder Partition ab, berechnet die Differenz und veröffentlicht sie als kafka_consumergroup_lag mit den Labels group, topic und partition, dazu kafka_consumergroup_group_lag für die Summe der Group. Bessere Exporter leiten außerdem einen zeitbasierten Wert ab, meist mit einem Namen wie kafka_consumergroup_lag_seconds, indem sie zwischen den Produce-Zeitstempeln der beteiligten Offsets interpolieren. Der Vorteil gegenüber JMX: Auch ein toter Consumer zeigt Lag – und zwar wachsenden –, weil der Exporter beim Broker liest und es ihm egal ist, ob jemand konsumiert. Gegen diese Quelle sollten die meisten Alarme geschrieben werden.

4. Die Aufzeichnung des Brokers selbst in __consumer_offsets. Jeder Commit ist eine Nachricht in diesem internen, kompaktierten Topic, mit Group, Topic und Partition als Key. Der oben beschriebene Exporter ist nur ein Client davon. Es direkt zu lesen, ist nützlich für die Forensik, um herauszufinden, wann eine Group zuletzt committet hat, und um Groups zu entdecken, an deren Anlage sich niemand erinnert. Als eigenständige Monitoring-Oberfläche taugt es nicht – aber wer weiß, dass es die Quelle der Wahrheit ist, versteht, warum Lag in Kafka wirklich nur „Log-Ende minus letzter committeter Offset“ ist und nichts weiter.

Nachrichtenzahlen sind über Topics hinweg mehrdeutig, wie dieser Beitrag bereits erläutert. Schreiben Sie das SLO daher in Sekunden hinter dem Log-Ende und nutzen Sie die Nachrichtenzahl als Diagnosewert darunter.

kafka-consumer-groups.sh --bootstrap-server broker:9092 --describe --group orders-enricher

# Prometheus: page when a group is more than five minutes behind for ten minutes
max by (group) (kafka_consumergroup_lag_seconds{group="orders-enricher"}) > 300

Alarme auf Lag, ohne bei jedem Rauschen gepagt zu werden

Die meisten Lag-Alarme werden innerhalb eines Monats abgeschaltet, weil sie bei jedem Deployment und jeder Traffic-Spitze auslösen. Die folgenden Regeln sind die, die sich nach unserer Erfahrung halten.

  • Alarmieren Sie auf Wachstumsrate und Zeitrückstand zum Log-Ende, nicht auf die absolute Zahl. Eine Group, die bei 40.000 Nachrichten Rückstand verharrt, ist eine Kapazitätsentscheidung. Eine Group bei 4.000, die um 500 pro Minute steigt, ist ein Incident. deriv(kafka_consumergroup_group_lag[10m]) > 0 über ein Zeitfenster gehalten und kombiniert mit dem Sekunden-Schwellenwert von oben erkennt den zweiten Fall, ohne beim ersten zu pagen.
  • Legen Sie Schwellenwerte pro Group anhand ihres SLO fest. Ein Consumer für Betrugs-Scoring und ein nächtlicher Warehouse-Loader teilen sich keinen Wert. Hinterlegen Sie das Budget in Sekunden Rückstand pro Group oder pro Label in der Alarmregel und verweigern Sie einen clusterweiten Standardwert.
  • Null Mitglieder plus Lag über null ist ein Incident, keine Warnung. Der Exporter stellt kafka_consumergroup_members bereit. Steht der Wert auf null und der Lag über null, konsumiert niemand – und das bleibt so, bis ein Mensch eingreift. Pagen Sie sofort, egal wie klein der Lag ist.
  • Unterdrücken Sie Alarme während bekannter Rebalances und Deployments. Ein Rolling Deployment einer Group mit zwölf Instanzen erzeugt pro Instanz ein Rebalance, und der Lag springt jedes Mal, wenn Partitionen umziehen. Schalten Sie den Lag-Alarm der Group für das Deployment-Fenster stumm oder knüpfen Sie ihn an eine fünf Minuten lang stabile Mitgliederzahl. Wie Rebalances tatsächlich funktionieren und wie Sie sie verkürzen, erklärt unser Leitfaden zum Kafka-Rebalance.
  • Betrachten Sie den Lag zusammen mit dem Consumer-Durchsatz. Steigt der Lag, während die records-consumed-rate der Group gleich bleibt oder steigt, haben die Producer einen Schub erzeugt, und die Consumer holen auf. Steigt der Lag, während die Verbrauchsrate gesunken ist, sind die Consumer langsamer geworden – und die Ursache liegt meist in nachgelagerten Systemen. Gleiches Symptom, gegensätzliche Reaktion. Auch ein Producer, der wiederholt sendet und doppelt schreibt, kann den Lag von der anderen Seite aufblähen; siehe unsere FAQ zu Producer-Timeouts.

Diese Grafana-Panels lohnen sich: Lag in Sekunden pro Group; Lag in Nachrichten pro Partition für die untersuchte Group, damit Skew auffällt (trägt eine Partition den Lag, liegt die Lösung im Key, nicht in der Zahl der Consumer, siehe Partitionsstrategie); die Records-Consumed-Rate pro Group; und die Zahl der Rebalances pro Group im Zeitverlauf.

Bei Kafka-Supportverträgen von AceMQ gehen Lag-Alarme an einen namentlich zugeordneten Engineer mit einer P1-Reaktionszeit von fünfzehn Minuten. Die ersten drei Fragen, die wir stellen, sind immer dieselben: Stimmt die Zahl der Mitglieder? Ist die Verbrauchsrate gesunken oder die Produktionsrate gestiegen? Und betrifft der Lag jede Partition oder nur eine? Diese drei Antworten unterscheiden einen toten Consumer, einen Stau in nachgelagerten Systemen und einen Hot Key, bevor irgendjemand ein Log öffnet. Wenn Sie dieses Setup lieber einmal sauber entwerfen lassen, statt es um 3 Uhr nachts neu zu entdecken: Unsere Projekte im Bereich Kafka-Beratung beginnen genau damit.

Dies ist Schritt drei von zehn im Leitfaden für den Kafka-Betrieb, der die betrieblichen Entscheidungen in der Reihenfolge behandelt, in der sie in einer Produktionsumgebung anstehen.

FAQ

Was ist Kafka Consumer Lag?

Die Differenz zwischen dem Log End Offset einer Partition und dem committeten Offset der Consumer Group – also wie viele Records produziert, aber noch nicht verarbeitet wurden. Er wird pro Partition gemessen und über die Group summiert.

Was verursacht Consumer Lag in Kafka?

Eine Verarbeitung, die langsamer ist als die Produktion, zu wenige Consumer-Instanzen für die Zahl der Partitionen, Partition Skew, Engpässe in nachgelagerten Systemen, häufiges Rebalancing oder eine Poll-Konfiguration, durch die Consumer mitten im Batch aus der Group geworfen werden.

Wie prüfe ich den Consumer Lag?

Führen Sie kafka-consumer-groups.sh --describe --group <name> aus, um den LAG pro Partition zu sehen. Für kontinuierliches Monitoring eignen sich Kafka Lag Exporter mit Prometheus, Burrow oder die clientseitige JMX-Metrik records-lag-max.

Ist ein gewisser Consumer Lag normal?

Ja. Ein Lag, der ständig nahe null liegt, bedeutet meist, dass Sie überdimensioniert sind. Entscheidend ist, ob er stabil ist – und wie viel Verzögerung er darstellt, nicht wie viele Nachrichten.

Wie reduziere ich Kafka Consumer Lag?

Skalieren Sie die Consumer bis zur Zahl der Partitionen und fügen Sie Partitionen hinzu, wenn diese Parität schon erreicht ist. Beheben Sie ungleich verteilte Partition Keys, bündeln Sie Schreibvorgänge in nachgelagerte Systeme und optimieren Sie die Poll-Schleife so, dass Batches innerhalb des Intervalls fertig werden.

Warum senken zusätzliche Consumer den Lag nicht?

Die Parallelität innerhalb einer Consumer Group ist durch die Zahl der Partitionen begrenzt. Sobald es so viele Consumer wie Partitionen gibt, bleiben weitere Instanzen untätig. Fügen Sie stattdessen Partitionen hinzu oder beschleunigen Sie die Verarbeitung.

Sollte ich Nachrichten oder vergangene Zeit messen?

Offset-Lag zählt unverarbeitete Nachrichten; die vergangene Zeit misst, wie weit der Consumer hinter der Gegenwart zurückliegt. Zeit ist das aussagekräftigere Signal, denn derselbe Offset-Lag kann je nach Durchsatz eine Sekunde oder eine Stunde bedeuten.

Wie wirkt sich Rebalancing auf den Lag aus?

Eine Neuzuweisung unterbricht die Verarbeitung, daher steigt der Lag bei jedem Rebalance. Eager Rebalancing stoppt die gesamte Group; Cooperative Rebalancing pausiert nur die Partitionen, die tatsächlich umziehen. Häufige Rebalances bedeuten meist, dass Consumer aus der Group geworfen werden, weil sie max.poll.interval.ms überschreiten.

Wie überwache ich Kafka Consumer Lag?

Nutzen Sie kafka-consumer-groups.sh --describe für eine einmalige Prüfung und betreiben Sie für das kontinuierliche Monitoring einen Lag Exporter, der die committeten Offsets von den Brokern liest und kafka_consumergroup_lag an Prometheus liefert. Alarmieren Sie auf Basis des Exporters, nicht der JMX-Metriken des Consumers: Der JMX-Lag verschwindet, wenn der Consumer ausfällt, während der Exporter weiter meldet. Stellen Sie in Grafana den Lag in Sekunden hinter dem Log-Ende pro Group, den Lag in Nachrichten pro Partition und den Consumer-Durchsatz nebeneinander dar. Der Lag allein sagt Ihnen, dass etwas hinterherhinkt; der Durchsatz verrät, ob der Consumer langsamer oder der Producer schneller geworden ist.

Welcher Schwellenwert für Kafka Consumer Lag ist sinnvoll?

Eine allgemeingültige Zahl gibt es nicht. Eine Nachrichtenanzahl sagt ohne den Durchsatz des Topics nichts aus. Legen Sie den Schwellenwert deshalb in Sekunden hinter dem Log-Ende fest und leiten Sie ihn aus dem Zweck des Consumers ab: unter einer Minute für alles, worauf ein Nutzer oder eine Betrugsentscheidung wartet, wenige Minuten für Anreicherung und Event-Fan-out, eine Stunde oder mehr für Batch-Loader. Alarmieren Sie außerdem auf die Änderungsrate, nicht nur auf den Pegel: Eine Group, die stabil auf hohem Niveau verharrt, ist ein Kapazitätsthema; eine Group, die von niedrigem Niveau aus ansteigt, ist ein Incident. Definieren Sie einen Schwellenwert pro Group und überprüfen Sie ihn, wenn sich die Aufgabe des Consumers ändert.

Quellen

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Mit einem Engineer sprechen

Brauchen Sie Unterstützung bei Kafka?

Senior Engineers, die es selbst in Produktion betreiben. Fordern Sie ein Angebot oder ein kostenloses Erstgespräch an – ganz ohne Verkaufsgespräch.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben