Leitfaden · Kafka

Kafka Performance-Tuning Guide 2026: Producer, Broker und Consumer optimieren

Kafka-Performance-Tuning folgt einer festen Reihenfolge: Baseline messen, ermitteln, an welche von vier Grenzen Sie stoßen (Producer-Batching, Disk- und Netzwerkbandbreite der Broker, Partitionsparallelität oder Consumer-Verarbeitung), eine Einstellung ändern und denselben Benchmark erneut ausführen. Meist ist langsames Kafka eine Designgrenze, die keine Einstellung anhebt. Dieser Guide zeigt, wie Sie Kafka-Producer, -Broker und -Consumer für mehr Durchsatz optimieren – mit den Apache Kafka 4.4 Defaults (geprüft am 28. Oktober 2026), der Kapazitätsrechnung und dem Punkt, an dem Tuning endet und Design beginnt.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 10 Min. Lesezeit · 7 Abschnitte

Auf dieser Seite

Tuning in einem Absatz

Tuning in einem Absatz

Benchmarken Sie zuerst mit kafka-producer-perf-test.sh und kafka-consumer-perf-test.sh und tunen Sie dann in dieser Reihenfolge: Producer-Batching und Kompression, Partitionsanzahl und Keys, Broker-Threads, Disks und Netzwerk, zuletzt die Fetch- und Poll-Einstellungen der Consumer. Seit Kafka 4.0 ist der Producer-Default für linger.ms 5 statt 0 – ältere Tuning-Empfehlungen, die von 0 ausgehen, sind also veraltet. Durchsatzgrenzen haben drei Ursachen, und für jede lässt sich rechnen, bevor Sie eine Konfiguration anfassen: Die Raten pro Partition für Producer und Consumer bestimmen die Partitionsanzahl, die Replikation vervielfacht jedes Byte im Broker-Netzwerk, und Retention mal Replikation bestimmt den Disk-Bedarf.

Wenn Consumer dauerhaft zurückfallen, springen Sie direkt zur Lag-Tabelle in Abschnitt 5: Das Lag-Muster über die Partitionen benennt die Ursache zuverlässiger als jede einzelne Metrik.

Zuerst messen: Benchmark und Performance-Metriken vor jeder Änderung

Tuning ohne Baseline ist Raten. Erfassen Sie daher Producer-Durchsatz und -Latenz, Broker-Idle-Zeit und Consumer Lag unter reproduzierbarer Last, bevor Sie eine Einstellung ändern. Kafka bringt die Werkzeuge mit: kafka-producer-perf-test.sh und kafka-consumer-perf-test.sh sowie JMX-Metriken auf jedem Client und Broker. Exportieren Sie diese Metriken nach Prometheus oder in das Monitoring, das Kafka bereits beliefert, damit die Baseline und jeder spätere Lauf erhalten bleiben.

bin/kafka-producer-perf-test.sh --topic perf-test --num-records 5000000 \
  --record-size 1024 --throughput -1 \
  --producer-props bootstrap.servers=host:9092 acks=all linger.ms=5

bin/kafka-consumer-perf-test.sh --bootstrap-server host:9092 \
  --topic perf-test --messages 5000000

Messen Sie bei einer Echtzeit-Pipeline zusätzlich die End-to-End-Latenz vom Produce bis zum Consume, nicht nur die Producer-Latenz. Verwenden Sie ein Test-Topic mit derselben Partitionsanzahl und demselben Replikationsfaktor wie in Produktion. Kafka 4.4 ergänzt das Producer-Tool um die Optionen --record-key-range, --key-distribution und --random-seed, sodass ein Benchmark eine ungleichmäßige Key-Verteilung nachbilden kann, statt Records gleichmäßig zu verteilen.

Beobachten Sie während des Tests Folgendes. Die Monitoring-Dokumentation von Apache nennt Idealwerte für die ersten beiden: RequestHandlerAvgIdlePercent und NetworkProcessorAvgIdlePercent über 0,3, unterreplizierte Partitionen bei 0. Auf den Clients: record-queue-time-avg, batch-size-avg und request-latency-avg für Producer sowie records-lag-max, fetch-latency-avg und records-consumed-rate für Consumer.

Producer: Batching, Kompression und Acknowledgements konfigurieren

Producer-Durchsatz ist vor allem Batching: Größere Batches bedeuten weniger Requests, bessere Kompression und weniger Arbeit für den Broker – erkauft mit etwas Latenz. Vier Einstellungen der Producer-Konfiguration steuern das bei Kafka-Producern; die folgenden Defaults stammen aus der Producer-Dokumentation von Apache Kafka 4.4.

EinstellungDefault (4.4)Anpassen, wennTrade-off
linger.ms5 (0 vor Kafka 4.0)batch-size-avg liegt weit unter batch.size und die Latenz erlaubt längeres WartenApaches Beispiel: linger.ms=50 sendet weniger Requests und fügt ohne Last bis zu 50 ms Latenz hinzu
batch.size16384 BytesBatches gehen voll raus, bevor linger.ms abläuft, oder Records sind großMehr Speicher pro Partition in buffer.memory
compression.typenoneNetzwerk oder Disk sind der Engpass und CPU ist frei; lz4 und zstd testenCPU auf Producer und Broker; laut Apache verbessert sich die Rate mit mehr Batching
buffer.memory33554432 (32 MiB)bufferpool-wait-ratio liegt über null, d. h. send() blockiertVom Client belegter Heap

Acknowledgements sind eine Entscheidung über Dauerhaftigkeit, kein Tuning-Regler. acks=all ist in 4.4 der Default und die Einstellung, die zusammen mit min.insync.replicas=2 bei einem Replikationsfaktor von 3 bestätigte Writes auch nach dem Ausfall eines Brokers erhält. Ein Wechsel auf acks=1 erkauft Latenz mit dem Risiko, dass der Leader ausfällt, bevor die Follower den Record kopiert haben. Ändern Sie das nur mit Zustimmung des Datenverantwortlichen. Lassen Sie Idempotenz aktiviert: Sie erfordert acks=all und höchstens 5 In-flight-Requests pro Verbindung – das ist der Default.

Retries sind standardmäßig aktiv (retries steht auf 2147483647, praktisch begrenzt durch delivery.timeout.ms, mit retry.backoff.ms bei 100). Ein langsamer Broker zeigt sich daher als Latenz und wachsende Queue-Zeit statt als Fehler – bis das Delivery-Timeout abläuft. Ändern Sie jeweils nur eine Producer-Einstellung und führen Sie denselben Perf-Test erneut aus. Gerade Kompression muss mit Ihren eigenen Records getestet werden, denn JSON, Avro und bereits komprimierte Payloads komprimieren sehr unterschiedlich.

Partitionen und Keys: Woher die Parallelität kommt

Die Partitionsanzahl ist die Obergrenze für parallele Consumer und der wichtigste Hebel für den Durchsatz. Sie lässt sich erhöhen, aber nie verringern – legen Sie sie also auf Basis von Messungen fest. Messen Sie, was eine Partition auf Ihrer Hardware für Ihre Producer (P) und Ihre Consumer (C) dauerhaft schafft. Für einen Zieldurchsatz T brauchen Sie dann mindestens T geteilt durch P und mindestens T geteilt durch C Partitionen. Außerdem muss die Zahl mindestens der Anzahl der Consumer-Instanzen zur Spitzenlast entsprechen. Nehmen Sie den größten der drei Werte und planen Sie Reserven ein.

Ob diese Rechnung aufgeht, entscheiden die Keys. Alle Records mit demselben Key landen auf derselben Partition; ein ungleich verteilter Key konzentriert die Last dort, egal wie viele Partitionen es gibt. Vergleichen Sie eingehende Bytes und Lag pro Partition: Liegt eine Partition weit über dem Median, ist das ein Key-Problem. Abhilfe schafft ein besserer Key, ein gesalzener Key, sofern die Reihenfolge das zulässt, oder ein eigener Partitioner. Liegt die Hot Partition zudem auf einem überlasteten Broker, kann kafka-reassign-partitions.sh sie verschieben – mit Throttle, damit die Kopie den Produktionsverkehr nicht ausbremst. Das korrigiert aber nur die Platzierung, nicht den Skew. Zusätzliche Partitionen in einem Topic mit Keys ändern außerdem die Zuordnung der Keys zu Partitionen und brechen damit die Reihenfolge pro Key über die Änderung hinweg.

Aus unseren Projekten. Die Kafka-Projekte von AceMQ umfassen Performance-Tuning und das Verkleinern überdimensionierter Cluster – auf selbst betriebenem Kafka, Amazon MSK und Confluent Platform. Die Grenze, an die ein Kunde stößt, ist fast immer eine Designgrenze – ein Hot Topic oder ein überdimensioniertes Topic – und nicht die des Brokers. Die Lösung ist meist eine Neupartitionierung des Workloads statt eines Broker-Wechsels.

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

Kafka-Broker, Disks und Netzwerkbandbreite: die Kapazitätsrechnung

Broker-Kapazität ist eine Rechnung mit vier Eingangsgrößen: Producer-Ingress, Replikationsfaktor, Anzahl der Consumer Groups, die alles lesen, und Retention. Die Replikation vervielfacht jedes Byte, und jede Consumer Group vervielfacht den ausgehenden Traffic. Deshalb gehen bei den meisten Kafka-Cluster-Designs Netzwerkbandbreite und Disk vor der CPU aus. Vergleichen Sie das Ergebnis mit der Netzwerkbandbreite und dem Disk-Durchsatz jedes Brokers und leiten Sie daraus Alert-Schwellen ab.

Bei einem Cluster-Ingress I (MB/s), B Brokern, Replikationsfaktor r, c Consumer Groups, die jeweils den gesamten Stream lesen, und gleichmäßig verteilten Leadern gilt:

  • Eingehend pro Broker: r × I / B, da jeder Broker I / B als Leader verantwortet und die übrigen (r - 1) Anteile als Follower kopiert.
  • Ausgehend pro Broker: (r - 1 + c) × I / B, also Replikation zu den Followern plus Consumer-Reads.
  • Disk, gesamter Cluster: I × 86.400 Sekunden × Retention-Tage × r, geteilt durch Ihre Kompressionsrate.
  • Page Cache pro Broker: Apaches Faustregel ist Schreibdurchsatz mal 30 Sekunden Pufferung, also die eingehende Rate jedes Brokers mal 30.
Rechenbeispiel (illustrative Werte)RechnungErgebnis
50 MB/s Ingress, 6 Broker, r = 3, 2 Consumer Groups, 7 Tage, keine KompressionEingehend pro Broker: 3 × 50 / 625 MB/s
Gleiche WerteAusgehend pro Broker: (3 - 1 + 2) × 50 / 633,3 MB/s
Gleiche WerteDisk: 50 × 86.400 × 7 × 3, in dezimalen GB90.720 GB bzw. 15.120 GB pro Broker
Gleiche WertePage Cache pro Broker: 25 MB/s × 30 s750 MB, zuzüglich Heap und Betriebssystem

Die Werte dienen nur der Veranschaulichung und sind keine Empfehlung; setzen Sie Ihre eigenen ein. Das Ergebnis ist eine Untergrenze: Ein Consumer mit Lag liest von der Disk statt aus dem Page Cache, daher schützt freier Arbeitsspeicher den gesamten Cluster vor einem einzelnen langsamen Leser.

Broker-Threads und Fetcher. num.network.threads (Default 3), num.io.threads (Default 8) und num.replica.fetchers (Default 1) sind die Einstellungen, die Sie erhöhen, wenn die Idle-Werte unter 0,3 fallen oder Follower aus dem In-Sync-Set herausfallen. Mehr Replica-Fetcher erhöhen die Parallelität zwischen Brokern auf Kosten von CPU und Speicher. Wenn Follower hinterherhinken, prüfen Sie replica.lag.time.max.ms (Default 30 Sekunden), bevor Sie eine langsame Disk vermuten.

JVM und Skalierung. Halten Sie den JVM-Heap moderat: Apaches Beispiel ist -Xmx6g -Xms6g -XX:+UseG1GC -XX:MaxGCPauseMillis=20, womit der restliche RAM dem Page Cache bleibt. Beim Scale-out durch zusätzliche Broker werden bestehende Partitionen nicht automatisch verschoben – planen Sie eine Neuzuweisung, bevor Sie erwarten, dass ein neuer Broker Last übernimmt.

Disks und Betriebssystem. Geben Sie Kafka eigene Laufwerke, setzen Sie File Descriptors auf 100.000 oder mehr und prüfen Sie vm.max_map_count gegen die Partitionsanzahl, wie es die Checkliste zur Produktionsreife in den Punkten 17 bis 20 beschreibt.

Consumer und Lag: Kafka-Offsets überwachen und anhand von Mustern diagnostizieren

Consumer Lag – die Differenz zwischen dem Log-End-Offset einer Partition und dem committeten Offset der Gruppe – hat eine Handvoll Ursachen, und das Lag-Muster über Partitionen und Zeit zeigt, welche bei Ihnen vorliegt. In einer Microservices-IT-Landschaft ist jeder Service meist eine eigene Consumer Group; lesen Sie den Lag daher pro Gruppe. Prüfen Sie zuerst das Muster: bin/kafka-consumer-groups.sh --bootstrap-server host:9092 --describe --group my-group zeigt den Lag pro Partition, --members zeigt, welche Instanz welche Partition hält.

MusterWahrscheinliche UrsachePrüfungLösung
Lag wächst gleichmäßig auf allen PartitionenConsumer sind langsamer als ProducerVerarbeitungszeit pro Record gegenüber records-consumed-rateVerarbeitung beschleunigen oder Consumer-Instanzen bis zur Partitionsanzahl hinzufügen
Eine Partition liegt weit hinter den anderenKey-Skew oder Hot PartitionEingehende Bytes pro Partition gegenüber dem MedianKey oder Partitioner ändern; mehr Consumer helfen nicht
Lag schwankt sägezahnartig mit dem Rebalancing der GruppeVerarbeitung dauert länger als max.poll.interval.ms (Default 300000)Gruppenstatus und Anzahl der Rebalancesmax.poll.records (Default 500) senken oder das Intervall erhöhen; Static Membership oder group.protocol=consumer nutzen
Lag tritt bei jedem Deployment aufVollständiger Rebalance bei jedem Pod-NeustartRebalance-Events fallen mit Release-Zeitpunkten zusammenStatic Membership mit group.instance.id oder das neue Consumer-Protokoll
Lag nach einem Broker-Neustart, der nicht abgebaut wirdLeader nicht zurück auf den Preferred ReplicasPreferredReplicaImbalanceCount über 0bin/kafka-leader-election.sh --bootstrap-server host:9092 --election-type preferred --all-topic-partitions
Viele kleine FetchesFetch-Einstellungen auf Latenz statt Volumen getrimmtfetch-size-avg weit unter dem Default von 1 MiB für max.partition.fetch.bytesfetch.min.bytes (Default 1) erhöhen und dabei fetch.max.wait.ms (Default 500) berücksichtigen

Zusätzliche Consumer helfen nur, bis es so viele Instanzen wie Partitionen gibt. Darüber hinaus bleiben weitere Consumer untätig – der typische Befund, wenn ein Team das Deployment skaliert hat und keine Veränderung sieht. Share Groups, ab Kafka 4.2 produktionsreif, erlauben bei unabhängigen Aufgaben mehr Consumer als Partitionen, verzichten dafür aber auf die Reihenfolge pro Partition.

Was sich in Kafka 4.x geändert hat und das Tuning beeinflusst

Vier Änderungen in 4.x verändern die Tuning-Empfehlungen, und jede ist von Apache dokumentiert. Der Producer-Default für linger.ms wurde in 4.0 von 0 auf 5 angehoben, weil größere Batches meist eine ähnliche oder geringere Latenz bringen. Das Consumer-Rebalance-Protokoll der nächsten Generation (KIP-848) ist ab 4.0 allgemein verfügbar und wird auf dem Client mit group.protocol=consumer aktiviert. Es arbeitet vollständig inkrementell, kennt also keine globale Synchronisationsbarriere, und verlagert Heartbeat, Session-Timeout und Zuweisung auf den Broker – session.timeout.ms, heartbeat.interval.ms und partition.assignment.strategy greifen damit nicht mehr. Broker benötigen Java 17. Und 4.4, veröffentlicht am 22. Oktober 2026, ergänzt das Producer-Perf-Tool um Optionen zur Key-Verteilung.

Prüfen Sie vor dem Tuning Ihre Version gegen die unterstützten Releases: Am 28. Oktober 2026 pflegt Apache 4.4, 4.3 und 4.2. Ein Cluster auf einem 3.x-Release erreicht diese nur über eine KRaft-Migration – deshalb werden Tuning und Migrationsplanung oft gemeinsam geplant.

Wann Tuning nicht hilft – und wen Sie dann anrufen

Tuning hilft nicht mehr, wenn die Grenze im Design liegt: ein Hot Key, ein Topic, das voneinander unabhängige Workloads transportiert, eine Partitionsanzahl, die für den Traffic des Vorjahres gewählt wurde, oder ein Consumer mit einem blockierenden Aufruf pro Record. Das erfordert ein Redesign. Anzeichen dafür sind ein Benchmark, der sich nach drei Einstellungsänderungen kaum bewegt, und Lag, der einer einzelnen Partition folgt.

AceMQ betreut 160+ Kunden und bearbeitet über alle unterstützten Plattformen hinweg 40+ Sev-1-Incidents pro Jahr. Für Kafka ist der übliche Einstieg der Kafka Health Check: Er prüft Partition-Skew, Consumer-Verhalten, Replikation und Kapazität und liefert priorisierte Ergebnisse – mit 24/7 Support und Reaktionszeitzielen ab 15 Minuten, je nach Plan, bei Incidents. Wann AceMQ nicht die richtige Wahl ist: Ein einmaliger Benchmark auf einem Cluster, den Sie bereits verstehen, braucht einen Tag mit den oben genannten Tools, keinen Vertrag. Und ein vollständig gemanagter Service wie Confluent Cloud oder Amazon MSK nimmt Ihnen das Broker- und Disk-Tuning ab, Partitionierung, Keys und Consumer bleiben jedoch bei Ihnen.

Häufig gestellte Fragen

Wie erhöhe ich den Kafka-Durchsatz?

Messen Sie eine Baseline mit kafka-producer-perf-test.sh und tunen Sie dann in dieser Reihenfolge: Producer-Batching (linger.ms, batch.size) und Kompression, Partitionsanzahl und Keys, Broker-Threads, Disks und Netzwerk sowie die Fetch-Einstellungen der Consumer. Ändern Sie jeweils nur eine Einstellung und wiederholen Sie denselben Test. Bewegt sich der Benchmark kaum, liegt die Grenze im Design – meist ein ungleich verteilter Key oder zu wenige Partitionen.

Was ist der Default für linger.ms in Kafka 4.x?

5 Millisekunden. Der Default wurde in Apache Kafka 4.0 von 0 auf 5 geändert, weil größere Batches trotz der zusätzlichen Wartezeit meist eine ähnliche oder geringere Producer-Latenz bringen. Tuning-Empfehlungen, die von 0 ausgehen, stammen aus der Zeit vor dieser Änderung.

Wie viele Partitionen braucht ein Kafka-Topic?

Mindestens den Zieldurchsatz geteilt durch das, was eine Partition für Ihre Producer dauerhaft schafft, mindestens denselben Wert für Ihre Consumer und mindestens die Anzahl der Consumer-Instanzen zur Spitzenlast. Messen Sie die Raten pro Partition auf Ihrer eigenen Hardware, nehmen Sie das größte Ergebnis und planen Sie Reserven ein – Partitionen lassen sich hinzufügen, aber nie entfernen.

Warum fallen Kafka-Consumer ständig zurück?

Vier Ursachen decken die meisten Fälle ab: Consumer sind langsamer als Producer, eine Hot Partition durch einen ungleich verteilten Key, Rebalances, weil die Verarbeitung länger dauert als max.poll.interval.ms, und Leader, die nach einem Neustart nicht auf ihre Preferred Replicas zurückgekehrt sind. Lag auf allen Partitionen deutet auf die erste Ursache hin, Lag auf einer einzelnen Partition auf die zweite.

Verbessert Kompression die Kafka-Performance?

Ja, wenn Netzwerk oder Disk der Engpass sind und CPU frei ist, denn komprimierte Batches bedeuten weniger übertragene und gespeicherte Bytes. Standardmäßig ist keine Kompression aktiv. Testen Sie lz4 und zstd mit Ihren eigenen Records, da die Kompressionsrate von der Payload abhängt und mit größeren Batches steigt.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben