Auf dieser Seite
org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) gehört zu den häufigsten Kafka-Fehlern in Produktion – und zu den am häufigsten falsch diagnostizierten. Teams greifen oft zu Änderungen an der Producer-Konfiguration (request.timeout.ms hochsetzen, retries erhöhen), obwohl die eigentliche Ursache auf Broker-Seite liegt, genauer: in der Verteilung der Controller- und Broker-Rollen im Cluster.
Dieser Beitrag zeichnet einen realen Diagnosefall nach: einen physischen Kafka-Cluster mit fünf Knoten und häufigen Producer Timeouts, die gefundene Ursache und die konkret umgesetzte Lösung.
Was ist in der Praxis die häufigste Ursache für Kafka Producer Timeouts?
Konkurrenz zwischen Controller- und Broker-Rolle auf denselben Knoten.
In einem KRaft-Cluster (der Kafka-Architektur nach ZooKeeper) lässt sich jeder Knoten in einer kombinierten Broker+Controller-Rolle betreiben, oder die Rollen werden auf dedizierte Knoten verteilt. Laufen alle Knoten mit beiden Rollen – typisch für kleinere oder organisch gewachsene Cluster –, konkurrieren Controller- und Broker-Prozess auf jedem Knoten ständig um dieselbe CPU und denselben Arbeitsspeicher.
Im konkreten Fall hatte ein Kafka-Cluster mit fünf Knoten, alle als kombinierte Broker+Controller konfiguriert, Producer Timeouts. Sie ließen sich gezielt auf den Knoten zurückführen, der als Controller-Leader fungierte: Er hielt übermäßig viele aktive Verbindungen, was Contention auf Broker-Ebene erzeugte. Der Kafka-Experte von AceMQ brachte die Diagnose direkt auf den Punkt: „Weil Ihre Broker – wie Sie sagen, Controller und Broker auf derselben physischen Maschine – ständig um Arbeitsspeicher und CPU konkurrieren, entsteht Latenz beim Logging. Das macht Probleme mit den Metadaten, mit denen gearbeitet werden muss, weil sie sich gegenseitig beim Aktualisieren in die Quere kommen. Trennen Sie das.“
Wie erkenne ich, ob mein Replikationsfaktor zum Problem beiträgt?
Prüfen Sie, ob Ihr Replikationsfaktor zur Clustergröße und zu Ihrem tatsächlichen Bedarf an Ausfallsicherheit passt – Überreplikation erzeugt realen, messbaren Overhead.
Im selben Diagnosefall lief der Cluster mit Replikationsfaktor 4 auf fünf physischen Knoten. Die klare Einschätzung: „Replikationsfaktor 4 ist für einen physischen Cluster mit 5 Knoten zu viel. Das ist ein hohes Maß an Redundanz, aber es hat einen hohen Preis, gerade bei Ihrer Topic-Verteilung auf die fünf Knoten. Ich würde das auf jeden Fall auf drei zurücknehmen, besonders bei Ihrem Datenvolumen.“
Warum der Replikationsfaktor gerade für Producer Timeouts zählt: Jede produzierte Nachricht muss von der geforderten Zahl an In-Sync-Replicas bestätigt werden (gesteuert über Ihre Einstellungen acks und min.insync.replicas), bevor der Producer die Bestätigung erhält. Ein höherer Replikationsfaktor bedeutet, dass mehr Replicas schreiben und bestätigen müssen, bevor diese Bestätigung zurückkommt. Konkurrieren diese Schreibvorgänge zusätzlich mit der CPU- und Speicherlast der Controller-Rolle auf denselben Knoten, summiert sich das zu Timeouts, die der Producer zu sehen bekommt.
Faustregel: Replikationsfaktor 3 ist die übliche Basis für Ausfallsicherheit in produktiven Kafka-Umgebungen. Ein Faktor von 4 oder mehr sollte eine bewusste Entscheidung auf Grundlage nachgewiesener Anforderungen sein – kein Standardwert.
Sollte ich meine Kafka-Controller von den Brokern trennen?
Ja, wenn Sie kombinierte Rollen betreiben und auf Producer-Seite Latenzen oder Timeouts haben – das ist eine der wirkungsvollsten Architekturänderungen überhaupt.
Die direkte Empfehlung aus demselben Diagnosefall: „Da es Produktion ist … holen Sie sich vielleicht einen weiteren Controller dazu, betreiben Sie den Controller separat und behalten Sie auf der Broker-Seite mindestens 3 Knoten.“ Dafür muss der Cluster nicht komplett neu aufgebaut werden. Es geht darum, dedizierte Controller-Knoten hinzuzufügen und die bestehenden Knoten als reine Broker zu konfigurieren – das senkt die CPU- und Speicherkonkurrenz auf jedem Knoten im Cluster.
Praktischer Migrationspfad:
- Einen neuen Knoten als dedizierten Controller bereitstellen (oder einen bestehenden umwidmen)
- Die übrigen Knoten auf die reine Broker-Rolle umkonfigurieren
- Für die Ausfallsicherheit in Produktion mindestens 3 Broker-Knoten beibehalten
- Clusterzustand und Neuwahlverhalten prüfen, bevor die Migration als abgeschlossen gilt
Welche weiteren Konfigurationsänderungen reduzieren Producer Timeouts?
Zwei weitere Tuning-Hebel gehörten zur selben Lösung aus der Praxis:
Die I/O-Thread-Einstellung von Kafka erhöhen. Die konkrete Empfehlung lautete, die aktuelle Thread-Einstellung (num.io.threads oder die entsprechende Netzwerk-/I/O-Thread-Konfiguration) zu verdoppeln. Das setzt direkt an Durchsatzengpässen unter Last an, ohne dass Architekturänderungen nötig sind.
Leader-Neuwahlen und die Unruhe durch Partition-Reassignments überwachen. Häufige Controller-Neuwahlen oder ungeplante Leadership-Wechsel bremsen den Producer-Traffic, während sich der Cluster neu organisiert. So formulierte es die Diagnose: „Schauen Sie sich diese beiden hier an – daran sehen Sie gut, wie instabil das Ganze ist, wie sich die Knoten verhalten und ob sie Neuwahlen durchführen und ständig Dinge umverteilen müssen. Denn wenn sie umverteilen, steht alles still – die Topics werden langsamer.“ Wer die Leader-Election-Rate und die Häufigkeit von Partition-Reassignments als laufende Metriken beobachtet (nicht nur während eines Incidents), hat ein Frühwarnsystem dafür, dass dasselbe Contention-Muster wieder auftritt.
Heißt das, dass mein Producer Timeout nie ein Problem der Producer-Konfiguration ist?
Nein – die Konfiguration auf Producer-Seite kann durchaus die Ursache sein, und es lohnt sich, sie früh zu bestätigen oder auszuschließen:
request.timeout.mszu aggressiv niedrig für die tatsächlichen Antwortzeiten von Netzwerk und Brokernmax.in.flight.requests.per.connectionin Kombination mit Retries, was zu Problemen mit der Nachrichtenreihenfolge führt, die sich zu scheinbaren Timeouts aufschaukelnbatch.sizeundlinger.mspassen nicht zu Ihrem Durchsatzmuster, sodass der Producer Nachrichten länger als erwartet zurückhält, bevor er sie sendet- Zu wenig Pufferspeicher auf Producer-Seite (
buffer.memory), was eineBufferExhaustedExceptionauslöst, die als Timeout fehlgedeutet wird
Entscheidend ist dabei die Diagnosereihenfolge: Prüfen Sie zuerst den Zustand der Broker und die Trennung von Controller und Broker, denn das ist in realen Deployments die häufigere Ursache – bevor Sie Zeit in das Tuning einer Client-Konfiguration investieren, die womöglich gar nicht der Engpass ist.
Und SSL/TLS-Änderungen – können sie meine Timeouts verursachen?
Wenn Sie mitten in einem Upgrade stecken oder kürzlich die TLS-Konfiguration geändert haben und seitdem Timeouts sehen, sollten Sie TLS nicht vorschnell ausschließen – aber auch nicht als Hauptursache annehmen, solange Contention zwischen Controller und Broker ungelöst ist.
Im selben Fall hatte der Kunde kurz zuvor einen Wechsel des SSL-Zertifikats versucht, der fehlschlug und zurückgerollt werden musste, und unabhängig davon Producer Timeouts gemeldet. Die Empfehlung zur Reihenfolge war eindeutig: zuerst Replikationsfaktor und Trennung von Controller und Broker angehen – „Schauen Sie sich das SSL jetzt nicht an … bringen Sie die Replikation auf drei herunter, fügen Sie die Broker hinzu und trennen Sie sie ab, und dann sehen Sie, wie es läuft … Das TLS/SSL-Thema würde ich erst angehen, wenn Sie auf Kafka 4 sind.“ Stabilisieren Sie die Kernarchitektur des Clusters, bevor Sie weitere Änderungen wie eine Zertifikatsrotation auf einen ohnehin belasteten Cluster setzen.
Kann ich das selbst beheben, oder braucht es ein Expertenreview?
Das Diagnosemuster hier – Replikationsfaktor, Controller/Broker-Topologie, Thread-Konfiguration und Neuwahl-Häufigkeit – ist für ein Team mit solider Kafka-Betriebserfahrung gut zu bewältigen. Der Grund, warum gerade dieser Fall bei einem Expertenreview landete, ist jedoch typisch: Die Symptome (Producer Timeouts) deuten nicht offensichtlich auf die Ursache (Contention zwischen Controller und Broker) hin, solange die Diagnoseerfahrung mit vielen unterschiedlichen Kafka-Topologien fehlt.
Wenn Sie Producer Timeouts sehen und offensichtliche Netzwerkprobleme bereits ausgeschlossen haben, führt der schnellste Weg zur Ursache meist über ein strukturiertes Review der Rollentopologie, der Replikationskonfiguration und der Neuwahl-Metriken Ihres Clusters – nicht über schrittweises Tuning der Producer-Client-Einstellungen, Parameter für Parameter.
Hilfe bei Kafka Producer Timeouts
Sie haben Kafka Producer Timeouts in Produktion? Kontaktieren Sie AceMQ für ein Review Ihrer Cluster-Architektur – wir finden heraus, ob Controller-Contention, Replikations-Overhead oder etwas ganz anderes dahintersteckt. Sie wissen nicht, wo Sie anfangen sollen? Sprechen Sie mit einem AceMQ-Engineer.
Dies ist Schritt fünf von zehn im Leitfaden für den Kafka-Betrieb, der die betrieblichen Entscheidungen in der Reihenfolge behandelt, in der sie in einer Produktionsumgebung anfallen.
Häufig gestellte Fragen
Was ist in der Praxis die häufigste Ursache für Kafka Producer Timeouts?
Konkurrenz zwischen Controller- und Broker-Rolle auf denselben physischen Knoten. In KRaft-Clustern mit kombinierter Broker+Controller-Rolle kann der Knoten des Controller-Leaders übermäßig viele Verbindungen ansammeln und mit dem Broker-Prozess um CPU und Arbeitsspeicher konkurrieren. Die entstehende Latenz zeigt sich als Timeout auf Producer-Seite statt als eindeutiger Broker-Fehler.
Wie erkenne ich, ob mein Replikationsfaktor zu den Producer Timeouts beiträgt?
Prüfen Sie, ob der Replikationsfaktor in einem sinnvollen Verhältnis zur Clustergröße steht – ein Faktor von 4 auf einem Cluster mit 5 Knoten ist übertriebene Redundanz mit spürbarem Overhead. Jede produzierte Nachricht muss von der geforderten Zahl an In-Sync-Replicas bestätigt werden, bevor der Producer eine Bestätigung erhält. Ein höherer Replikationsfaktor verstärkt sich daher zusammen mit Controller-Contention zu Timeouts. Replikationsfaktor 3 ist die übliche Basis für den Produktivbetrieb.
Sollte ich meine Kafka-Controller von den Brokern trennen?
Ja, wenn Sie kombinierte Controller+Broker-Rollen betreiben und auf Producer-Seite Latenzen oder Timeouts sehen – das ist eine der wirkungsvollsten Maßnahmen überhaupt. Stellen Sie einen dedizierten Controller-Knoten bereit, konfigurieren Sie die bestehenden Knoten als reine Broker und behalten Sie für die Ausfallsicherheit in Produktion mindestens 3 Broker-Knoten.
Welche weiteren Konfigurationsänderungen reduzieren Kafka Producer Timeouts?
Eine Verdopplung der aktuellen I/O-Thread-Einstellung (num.io.threads oder Entsprechendes) setzt direkt an Durchsatzengpässen an. Überwachen Sie außerdem die Häufigkeit von Leader-Neuwahlen und die Unruhe durch Partition-Reassignments als laufende Metriken – häufige Neuwahlen bremsen den Producer-Traffic jedes Mal aus, wenn sich der Cluster neu organisiert.
Ist ein Kafka Producer Timeout überhaupt jemals ein Problem der Producer-Konfiguration?
Ja – ein zu niedriger request.timeout.ms, max.in.flight.requests.per.connection in Kombination mit Retries, falsch eingestellte batch.size/linger.ms und zu wenig buffer.memory können Timeouts verursachen oder wie Timeouts aussehen. Prüfen Sie dennoch zuerst den Zustand der Broker und die Trennung von Controller und Broker, denn das ist in realen Deployments die häufigere Ursache.
Kann eine kürzliche SSL/TLS-Änderung meine Kafka Producer Timeouts verursachen?
Möglicherweise. Gehen Sie aber nicht davon aus, dass sie die Hauptursache ist, solange Contention zwischen Controller und Broker oder ein überdimensionierter Replikationsfaktor ungelöst sind. Stabilisieren Sie zuerst die Kernarchitektur des Clusters – Replikationsfaktor und Rollentrennung –, bevor Sie TLS/SSL-Änderungen auf einen ohnehin belasteten Cluster setzen.
Sollte ich Kafka Producer Timeouts selbst analysieren oder ein Expertenreview einholen?
Replikationsfaktor, Controller/Broker-Topologie, Thread-Konfiguration und Neuwahl-Häufigkeit sind für Teams mit solider Kafka-Betriebserfahrung gut zu bewältigen. Ein Expertenreview hilft, weil das Symptom (Producer Timeouts) ohne Diagnoseerfahrung über viele Cluster-Topologien hinweg selten offensichtlich auf die Ursache (Controller-Contention) hindeutet.