Auf dieser Seite
Eine Kafka Retention Policy legt fest, wie lange ein Topic Nachrichten vorhält, bevor sie gelöscht werden dürfen. Gesteuert wird sie über zwei unabhängige Stellschrauben: cleanup.policy entscheidet, ob alte Records verworfen oder per Compaction auf den jeweils neuesten Wert pro Key reduziert werden, und die Limits retention.ms und retention.bytes definieren die Zeit- und Größenschwellen. Der Standard liegt bei 168 Stunden (sieben Tagen) und gilt pro Partition. Kafka entfernt Nachrichten immer segmentweise, nie einzeln – deshalb bleiben Daten oft länger erhalten als das konfigurierte Zeitfenster.
Wie lange kann ein Kafka-Topic Daten speichern?
Unbegrenzt, wenn Sie es so konfigurieren. Mit retention.ms=-1 deaktivieren Sie die zeitbasierte Retention, mit retention.bytes=-1 das größenbasierte Pendant. Das Topic behält Nachrichten dann, bis Sie die Einstellung ändern oder der Speicher voll ist. Die Grenze setzt der Speicher, nicht die Software: Ein volles Volume legt den gesamten Cluster lahm. Tiered Storage lagert geschlossene Segmente in Object Storage aus und macht längere Retention-Zeiten bezahlbar, ohne lokale Platten zu überdimensionieren.
Die Log-Retention bestimmt, wie lange Nachrichten lesbar bleiben – nicht, wie viel Zeit Consumer zum Lesen haben. Eine Consumer Group, die hinter das Zeitfenster zurückfällt, verliert diese Records endgültig.
delete.retention.ms vs. retention.ms
Die beiden steuern völlig unterschiedliche Retention-Mechanismen, und wer sie verwechselt, begeht einen häufigen und teuren Fehler. retention.ms ist das Zeitlimit für ein Topic mit Delete-Policy: Ältere Records dürfen gelöscht werden. delete.retention.ms gilt nur für kompaktierte Topics und legt fest, wie lange Tombstones – Records mit Nullwert, die einen Key als entfernt markieren – nach der Compaction bestehen bleiben. Der Standard beträgt 24 Stunden. Consumer brauchen dieses Zeitfenster, um die Löschung zu erkennen und weiterzugeben. Liegt der Wert unter der Aufholzeit Ihres langsamsten Consumers, droht unbemerkter Datenverlust in nachgelagerten Systemen. Auf einem rein kompaktierten Topic lässt retention.ms überhaupt keine Records altern.
Die drei Cleanup-Policy-Optionen
Für cleanup.policy gibt es drei Werte:
delete(Standard) verwirft ganze Segmente, sobald sie die Zeit- oder Größenschwelle überschreiten – passend für Event-Streams, Telemetrie und Logs.compactbehält für jeden Key den neuesten Wert und entfernt überholte Versionen. Log Compaction macht das Topic zu einem dauerhaften Changelog, aus dem sich State wiederherstellen lässt.delete,compactkombiniert beides: Die Compaction hält den neuesten Wert pro Key, während eine Retention-Zeit alte Segmente trotzdem auslaufen lässt. Das interne Topic__consumer_offsetsnutzt diese Kombination.
Retention auf Broker- und Topic-Ebene konfigurieren
Retention lässt sich auf zwei Ebenen konfigurieren. Die Broker-Konfiguration setzt clusterweite Werte über log.retention.hours (168), log.retention.bytes, log.segment.bytes und log.cleanup.policy; diese Log-Retention erbt standardmäßig jedes Topic. Auf Topic-Ebene gibt es die Entsprechungen retention.ms, retention.bytes, segment.bytes und cleanup.policy, die Sie beim Anlegen des Topics setzen oder später im laufenden Cluster ändern. Die Topic-Ebene hat immer Vorrang: Die Topic-Retention überschreibt die Server-Einstellung und ermöglicht eine feingranulare Steuerung je Workload. Legen Sie ein Topic ohne Overrides an, übernimmt es einfach die Broker-Standards.
retention.bytes wird pro Partition durchgesetzt, nicht pro Topic – ein Limit von 100 GB auf einem Topic mit 12 Partitionen erlaubt 1,2 TB Speicherplatz, bei Replikationsfaktor drei das Dreifache.
Retention-Einstellungen im laufenden Cluster anpassen
Die Topic-Konfiguration ist dynamisch, sodass Sie die Retention eines Live-Topics ohne Neustart konfigurieren können:
kafka-configs.sh --alter --entity-type topics --entity-name orders \
--add-config retention.ms=604800000
Der neue Wert gilt auch für Segmente, die bereits auf der Platte liegen, nicht nur für künftige. Ein Zeitfenster zu vergrößern ist unkritisch. Verkleinern Sie Retention-Einstellungen nur, wenn Sie sicher sind, dass die Daten entbehrlich sind – der nächste Cleanup-Durchlauf greift sofort, und das kann zu Datenverlust führen, den Sie nicht rückgängig machen können.
Log-Cleanup und Segmentverwaltung
Jede Partition ist ein Append-only-Commit-Log, aufgeteilt in Log-Segmente, und nur ein geschlossenes Segment kommt für den Cleanup infrage. Auf der Platte ist jedes Segment eine .log-Datei neben ihren Index-Dateien. Schreibvorgänge landen im aktiven Segment, das rotiert, sobald es segment.bytes (standardmäßig 1 GB) oder segment.ms (sieben Tage) erreicht – je nachdem, was zuerst eintritt. Die Kafka-Broker prüfen dann jede geschlossene Segmentdatei gegen die Retention-Einstellungen und entfernen die betroffenen. Das Zeitlimit wird also pro Segment angewendet, nicht pro Record.
Dieser Mechanismus erklärt, warum Daten ihr Retention-Fenster überdauern. Ein Topic mit wenig Traffic braucht unter Umständen Wochen, um ein 1-GB-Segment zu füllen. Nichts rotiert, nichts wird für den Cleanup freigegeben, und ein Sieben-Tage-Fenster verhält sich wie eines über sieben Wochen. Senken Sie segment.ms oder die Segmentgröße, stellt sich das erwartete Verhalten wieder ein.
Kompaktierte Topics werden von eigenen Log-Cleaner-Threads verarbeitet (log.cleaner.threads, Standard 1). min.compaction.lag.ms garantiert ein Mindestalter, bevor ein Record per Compaction entfernt werden kann, sodass Consumer von Echtzeitdaten weiterhin jedes Update sehen. Ein unterdimensionierter Cleaner fällt zurück und lässt doppelte Keys stehen.
Wie Retention Speicher und Performance beeinflusst
Retention ist der wichtigste Treiber der Speicherkosten: Ingest-Rate mal Retention-Zeit mal Replikationsfaktor ergibt die Untergrenze – 100 MB/s über sieben Tage bei RF=3 sind rund 180 TB. Wer Speicherkosten steuern will, beginnt deshalb beim Zeitfenster, nicht bei der Hardwarebestellung. Längere Fenster bremsen das Lesen aktueller Daten nicht, denn die kommen aus dem Page Cache. Sie vervielfachen aber die offenen File Handles und verlängern die Log-Recovery. Der Cleanup selbst ist nur ein Datei-Unlink; Compaction kostet dagegen spürbar CPU und I/O.
Best Practices und typische Herausforderungen
- Legen Sie Retention pro Topic fest statt einen clusterweiten Einheitswert. Audit- und Finanz-Topics brauchen selten dasselbe Fenster wie Debug-Telemetrie, und Fenster pro Topic sind der einzig praktikable Weg, unterschiedlichen Datenaufbewahrungsrichtlinien gerecht zu werden.
- Kombinieren Sie zeit- und größenbasierte Retention-Limits: Die Zeit sichert Compliance-Pflichten ab, die Größe schützt das Volume, und was zuerst greift, gewinnt. Wer Segmente nur zeitbasiert auslaufen lässt, ist Traffic-Spitzen schutzlos ausgeliefert.
- Richten Sie
segment.msan Ihrem kürzesten Fenster aus, damit Segmente tatsächlich rotieren. - Aktivieren Sie Log Compaction nur, wo das Topic wirklich ein Changelog mit Keys ist; auf einem einfachen Event-Stream verschwendet sie CPU.
- Behandeln Sie ein kompaktiertes Topic nie als Backup: Tombstones laufen ab, und
delete.retention.msbestimmt, wann. - Ändern Sie Retention-Einstellungen mit
kafka-configs.sh, nicht durch Bearbeiten der Server-Dateien, und beobachten Sie anschließend die Log-Cleaner-Metriken.
Ein Fenster auf einem Live-Topic zu verkürzen ist unumkehrbar – einer der wenigen Fehler, die Daten zerstören, statt sie nur zu verzögern. Die 11+ Kafka-Fachexperten auf Senior-Level von AceMQ prüfen diese Einstellungen zusammen mit der Kapazitätsplanung für 160+ Unternehmenskunden in 26+ Ländern. Läuft ein Cluster gerade voll, bietet 24/7-Kafka-Support Reaktionszeitziele ab 15 Minuten, je nach Plan – ergänzt durch das gesamte Spektrum an Kafka-Services für Unternehmen.
Geht es Ihnen bei diesem Artikel eher um Architektur als um einen akuten Vorfall – Partitionsstrategie, Sizing, Security-Design, eine Migration –, stellt Ihnen die Kafka-Beratung von AceMQ einen namentlich zugeordneten Senior Engineer zur Seite. Für einen Cluster, den Ihr Team selbst betreibt und der abgesichert sein soll, wenn etwas ausfällt, ist 24/7-Kafka-Support der passende Vertrag.
Dies ist Schritt sechs von zehn im Leitfaden zum Kafka-Betrieb, der die betrieblichen Entscheidungen in der Reihenfolge behandelt, in der sie in einer Produktionsumgebung anfallen.
Häufig gestellte Fragen
Was ist die Standard-Retention-Policy in Kafka?
Die Standard-Cleanup-Policy von Apache Kafka ist delete mit einer Aufbewahrungsdauer von 168 Stunden, also sieben Tagen, gesteuert über log.retention.hours auf Broker-Ebene. Größenbasierte Retention-Limits sind ab Werk deaktiviert: Der Standardwert für log.retention.bytes ist -1. Jedes Topic, das ohne explizite Overrides angelegt wird, übernimmt diese Werte. Die meisten Produktionsumgebungen überschreiben sie pro Topic, weil eine einzige clusterweite Einstellung selten zu jeder Workload passt.
Warum sind meine Kafka-Daten nach Ablauf der Retention-Zeit noch vorhanden?
Retention gilt nur für geschlossene Log-Segmente, nie für das Segment, in das gerade geschrieben wird. Hat ein Topic wenig Durchsatz, erreicht dieses Segment unter Umständen lange weder segment.bytes (standardmäßig 1 GB) noch segment.ms, sodass keine Daten für die Bereinigung infrage kommen. Wenn Sie segment.ms oder die Segmentgröße verringern, rollen Segmente häufiger, und die Bereinigung greift. Bei Compacted Topics ist es wiederum anders: Ein überlasteter Log Cleaner lässt alte Records einfach liegen.
Was ist der Unterschied zwischen delete.retention.ms und retention.ms?
retention.ms legt fest, wie lange Records in einem Topic mit der Cleanup-Policy delete aufbewahrt werden. delete.retention.ms gilt nur für Compacted Topics und bestimmt dort, wie lange Tombstones nach der Compaction erhalten bleiben, damit Consumer erkennen können, dass ein Key entfernt wurde. Es sind getrennte Mechanismen, die sich nicht gegenseitig ersetzen. Ist delete.retention.ms zu niedrig gesetzt, verpassen Consumer Löschungen und laufen gegenüber dem Quell-Topic aus dem Takt.
Kann ich für verschiedene Topics unterschiedliche Retention festlegen?
Ja. Die Konfiguration auf Topic-Ebene überschreibt den clusterweiten Wert, sodass jedes Topic eigene Werte für retention.ms, retention.bytes und cleanup.policy haben kann. Setzen Sie sie beim Anlegen des Topics oder ändern Sie sie später mit kafka-configs.sh --alter --entity-type topics. Das ist der empfohlene Weg, denn Compliance-Daten, Changelogs und Debug-Streams haben sehr unterschiedliche Anforderungen.
Verschlechtert eine längere Kafka-Retention die Performance?
Eine längere Retention verlangsamt Consumer nicht, die aktuelle Daten lesen – diese werden aus dem Page Cache des Betriebssystems bedient. Sie erhöht aber den Speicherbedarf, die Zahl offener File Handles und die Zeit, die ein Server nach einem unsauberen Neustart für die Log Recovery braucht. Auch Partition Reassignments dauern länger, weil mehr Daten verschoben werden müssen. Die praktischen Kosten liegen also bei Speicher und Recovery-Zeit, nicht beim Durchsatz im Normalbetrieb.
Leitfäden, Vergleiche und Studien

