BlogKafka

Politique de rétention Kafka : configuration par durée et par taille

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 7 min

Politique de rétention Kafka : configuration par durée et par taille
Sur cette page

Une politique de rétention Kafka définit combien de temps un topic conserve les messages avant qu'ils deviennent éligibles à la suppression. Elle repose sur deux réglages indépendants : cleanup.policy, qui choisit entre supprimer les anciens enregistrements et les compacter pour ne garder que la dernière valeur par clé, et les limites retention.ms et retention.bytes, qui fixent les seuils de durée et de taille. La valeur par défaut est de 168 heures (sept jours), appliquée par partition. Kafka supprime les messages par segments de log entiers, jamais message par message : c'est pourquoi les données survivent souvent au-delà de la fenêtre configurée.

Combien de temps un topic Kafka peut-il conserver des données ?

Indéfiniment, si vous le configurez ainsi. retention.ms=-1 désactive la rétention par durée et retention.bytes=-1 son équivalent par taille : le topic conserve alors les messages jusqu'à ce que vous changiez le réglage ou que le disque soit plein. La limite est le stockage, pas le logiciel : un volume plein fait tomber tout le cluster. Le stockage hiérarchisé (tiered storage) déporte les segments fermés vers un stockage objet, ce qui rend abordables des périodes de rétention plus longues sans surdimensionner les disques locaux.

La rétention des logs détermine combien de temps les messages restent lisibles, pas le délai dont disposent les consommateurs pour les lire. Un consumer group qui prend du retard au-delà de la fenêtre perd définitivement ces enregistrements.

delete.retention.ms ou retention.ms

Ces deux paramètres régissent des mécanismes de rétention totalement différents, et les confondre est une erreur courante et coûteuse. retention.ms est la limite de durée d'un topic utilisant la politique delete : les enregistrements plus anciens deviennent éligibles à la suppression. delete.retention.ms ne s'applique qu'aux topics compactés, où il détermine combien de temps les tombstones (enregistrements à valeur nulle signalant la suppression d'une clé) survivent après la compaction. Sa valeur par défaut est de 24 heures. Les consommateurs ont besoin de cette fenêtre pour constater la suppression et la propager ; réglez-la en dessous du temps de rattrapage de votre consommateur le plus lent et vous obtenez une perte de données silencieuse en aval. Sur un topic purement compacté, retention.ms ne fait expirer aucun enregistrement.

Les trois options de cleanup.policy

cleanup.policy accepte trois valeurs :

  • delete (par défaut) supprime des segments entiers dès qu'ils dépassent le seuil de durée ou de taille : adapté aux flux d'événements, à la télémétrie et aux logs.
  • compact conserve la valeur la plus récente de chaque clé et supprime les versions remplacées. La compaction des logs fait du topic un changelog durable pour reconstruire un état.
  • delete,compact applique les deux : la compaction garde la dernière valeur par clé tandis qu'une période de rétention fait toujours expirer les anciens segments. Le topic interne __consumer_offsets utilise cette combinaison.

Configurer la rétention au niveau du broker et du topic

La configuration de la rétention existe à deux niveaux. La configuration du broker fixe les valeurs du cluster via log.retention.hours (168), log.retention.bytes, log.segment.bytes et log.cleanup.policy ; c'est cette rétention dont chaque topic hérite par défaut. La configuration au niveau du topic utilise les équivalents retention.ms, retention.bytes, segment.bytes et cleanup.policy, définis à la création du topic ou modifiés ensuite sur un cluster en fonctionnement. Le niveau topic l'emporte toujours : la rétention du topic surcharge le réglage serveur, ce qui permet un contrôle fin de la rétention par charge de travail. Un topic créé sans surcharge reprend simplement les valeurs par défaut du broker.

retention.bytes s'applique par partition, pas par topic : une limite de 100 Go sur un topic de 12 partitions autorise 1,2 To d'espace disque, triplé avec un facteur de réplication de trois.

Modifier la rétention sur un cluster en fonctionnement

La configuration des topics est dynamique : vous pouvez régler la rétention d'un topic actif sans rien redémarrer :

kafka-configs.sh --alter --entity-type topics --entity-name orders \
  --add-config retention.ms=604800000

La nouvelle valeur s'applique aux segments déjà sur disque, pas seulement aux suivants. Allongez une fenêtre sans crainte ; ne réduisez la rétention que si vous êtes certain que les données sont superflues, car le prochain passage de nettoyage les traitera, avec à la clé une perte de données irréversible.

Nettoyage des logs et gestion des segments

Chaque partition est un commit log en ajout seul (append-only) découpé en segments, et seul un segment fermé peut être nettoyé. Sur disque, chacun est un fichier .log accompagné de ses fichiers d'index. Les écritures arrivent dans le segment actif, qui bascule lorsqu'il atteint segment.bytes (1 Go par défaut) ou segment.ms (sept jours), selon la première échéance. Les brokers Kafka évaluent ensuite chaque fichier de segment fermé au regard des réglages de rétention et suppriment ceux qui remplissent les conditions : la limite de durée s'applique donc par segment et non par enregistrement.

Ce mécanisme explique pourquoi des données survivent au-delà de leur fenêtre de rétention. Un topic à faible trafic peut mettre des semaines à remplir un segment de 1 Go : rien ne bascule, rien ne devient éligible au nettoyage, et une fenêtre de sept jours se comporte comme une fenêtre de sept semaines. Abaisser segment.ms ou la taille des segments rétablit le comportement attendu.

Les topics compactés sont traités par des threads de log cleaner dédiés (log.cleaner.threads, 1 par défaut). min.compaction.lag.ms garantit un âge minimal avant qu'un enregistrement puisse être éliminé par compaction, afin que les consommateurs de données temps réel voient toujours chaque mise à jour. Un cleaner sous-dimensionné prend du retard et laisse des clés en double.

Impact de la rétention sur le stockage et les performances

La rétention est le premier facteur de coût de stockage : débit d'ingestion × durée de rétention × facteur de réplication donne le plancher, soit environ 180 To pour 100 Mo/s pendant sept jours avec RF=3. Maîtriser les coûts de stockage commence donc par la fenêtre, pas par la commande de matériel. Des fenêtres plus longues ne ralentissent pas la lecture des données récentes, servies depuis le page cache, mais multiplient les descripteurs de fichiers ouverts et allongent la récupération des logs. Le nettoyage lui-même est une simple suppression de fichier ; la compaction consomme réellement du CPU et des I/O.

Bonnes pratiques et difficultés courantes

  • Définissez la rétention par topic plutôt qu'une valeur unique pour le cluster ; les topics d'audit et financiers ont rarement besoin de la même fenêtre que la télémétrie de débogage, et les fenêtres par topic sont le seul moyen pratique de respecter des politiques de rétention des données différentes.
  • Combinez limites de durée et de taille : la durée protège les obligations de conformité, la taille protège le volume, et la première atteinte l'emporte. Faire expirer les segments sur la seule durée vous expose à un pic de trafic.
  • Alignez segment.ms sur votre fenêtre la plus courte pour que les segments basculent réellement.
  • N'activez la compaction des logs que si le topic est vraiment un changelog à clés ; sur un simple flux d'événements, c'est du CPU gaspillé.
  • Ne considérez jamais un topic compacté comme une sauvegarde : les tombstones expirent, et delete.retention.ms décide quand.
  • Modifiez la rétention avec kafka-configs.sh, pas en éditant les fichiers serveur, puis surveillez les métriques du log cleaner.

Raccourcir une fenêtre sur un topic actif est irréversible : c'est l'une des rares erreurs qui détruisent des données au lieu de simplement les retarder. Les 11+ experts Kafka seniors d'AceMQ examinent ces réglages, ainsi que la planification de capacité, pour 160+ clients grands comptes dans 26+ pays. Si un cluster se remplit en ce moment même, le support Kafka 24/7 inclut des objectifs de réponse à partir de 15 minutes, selon le plan, aux côtés de l'ensemble des services Kafka pour l'entreprise.

Si la question derrière cet article relève de l'architecture plutôt que d'un incident en cours (stratégie de partitionnement, dimensionnement, conception de la sécurité, migration), le conseil Kafka d'AceMQ y affecte un ingénieur senior attitré. Pour un cluster exploité par votre équipe et que vous voulez voir couvert en cas de panne, le contrat qu'il vous faut est le support Kafka 24/7.

Cet article est l'étape six sur dix du guide d'exploitation de Kafka, qui aborde les décisions opérationnelles dans l'ordre où elles se présentent sur un parc en production.

Questions fréquentes

Quelle est la politique de rétention par défaut de Kafka ?

La politique de nettoyage par défaut d'Apache Kafka est delete, avec une durée de rétention de 168 heures, soit sept jours, contrôlée par log.retention.hours au niveau du broker. Les limites de rétention par taille sont désactivées par défaut : la valeur par défaut de log.retention.bytes est -1. Tout topic créé sans surcharge explicite hérite de ces valeurs. La plupart des déploiements de production les surchargent topic par topic, car un réglage unique à l'échelle du cluster convient rarement à toutes les charges de travail.

Pourquoi mes données Kafka sont-elles toujours là après la période de rétention ?

La rétention ne s'applique qu'aux segments de log fermés, jamais au segment en cours d'écriture. Si un topic a un faible débit, ce segment peut mettre longtemps à atteindre segment.bytes (1 Go par défaut) ou segment.ms, si bien qu'aucune donnée ne devient éligible au nettoyage. Réduire segment.ms ou la taille des segments force une rotation plus fréquente et permet au nettoyage de prendre effet. Les topics compactés se comportent encore autrement, car un log cleaner en retard laisse d'anciens enregistrements en place.

Quelle est la différence entre delete.retention.ms et retention.ms ?

retention.ms définit la durée de conservation des enregistrements sur un topic qui utilise la politique de nettoyage delete. delete.retention.ms ne s'applique qu'aux topics compactés, où il détermine combien de temps les tombstones survivent après la compaction, afin que les consommateurs puissent constater qu'une clé a été supprimée. Ce sont deux mécanismes distincts qui ne se remplacent pas l'un l'autre. Une valeur trop basse fait manquer des suppressions aux consommateurs, qui se désynchronisent alors du topic source.

Peut-on définir une rétention différente pour chaque topic ?

Oui. La configuration au niveau du topic surcharge la valeur du cluster : chaque topic peut donc avoir ses propres retention.ms, retention.bytes et cleanup.policy. Définissez-les à la création du topic ou modifiez-les ensuite avec kafka-configs.sh --alter --entity-type topics. C'est l'approche recommandée, car les données de conformité, les changelogs et les flux de débogage ont des besoins très différents.

Augmenter la rétention Kafka dégrade-t-il les performances ?

Une rétention plus longue ne ralentit pas les consommateurs qui lisent des données récentes, servies depuis le cache de pages du système d'exploitation. Elle augmente en revanche l'espace de stockage utilisé, le nombre de descripteurs de fichiers ouverts et le temps nécessaire à un serveur pour la récupération des logs après un redémarrage non propre. Les réaffectations de partitions prennent aussi plus de temps, car davantage de données doivent être déplacées. Le coût pratique porte sur le stockage et le temps de récupération plutôt que sur le débit en régime établi.

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Consultation gratuite

Un regard expert sur votre cluster Kafka

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire