En esta página
Una política de retención de Kafka define cuánto tiempo conserva un topic los mensajes antes de que puedan eliminarse, y se configura mediante dos controles independientes: cleanup.policy, que elige entre descartar los registros antiguos o compactarlos al último valor por clave, y los límites retention.ms y retention.bytes, que fijan los umbrales de tiempo y tamaño. El valor predeterminado es de 168 horas (siete días), aplicado por partición. En Kafka los mensajes se eliminan por segmentos de log completos, nunca mensaje a mensaje, y por eso los datos suelen sobrevivir a la ventana configurada.
¿Cuánto tiempo puede almacenar datos un topic de Kafka?
Indefinidamente, si así lo configura. Con retention.ms=-1 se desactiva la retención por tiempo y con retention.bytes=-1 su equivalente por tamaño, de modo que el topic conserva los mensajes hasta que lo cambie o se agote el disco. El límite lo pone el almacenamiento, no el software: un volumen lleno tumba todo el clúster. El almacenamiento por niveles (tiered storage) traslada los segmentos cerrados a almacenamiento de objetos, lo que hace asumibles períodos de retención más largos sin sobredimensionar los discos locales.
La retención de logs controla cuánto tiempo siguen siendo legibles los mensajes, no cuánto tiempo tienen los consumidores para leerlos. Un grupo de consumidores (consumer group) que se queda por detrás de la ventana pierde esos registros para siempre.
delete.retention.ms frente a retention.ms
Ambos rigen dos mecanismos de retención completamente distintos, y confundirlos es un error habitual y caro. retention.ms es el límite por tiempo de un topic con la política delete: los registros más antiguos que ese valor pasan a poder eliminarse. delete.retention.ms solo se aplica a topics compactados, donde controla cuánto tiempo sobreviven tras la compactación los tombstones, es decir, los registros con valor nulo que marcan una clave como eliminada. Su valor predeterminado es de 24 horas. Los consumidores necesitan esa ventana para detectar la eliminación y propagarla; si la fija por debajo del tiempo que tarda en ponerse al día su consumidor más lento, se producirá una pérdida de datos silenciosa aguas abajo. En un topic puramente compactado, retention.ms no hace caducar ningún registro.
Las tres opciones de cleanup.policy
cleanup.policy admite tres valores:
delete(el predeterminado) descarta segmentos enteros cuando superan el umbral de tiempo o de tamaño; es el adecuado para streams de eventos, telemetría y logs.compactconserva el valor más reciente de cada clave y elimina las versiones sustituidas. La compactación de logs convierte el topic en un changelog duradero para reconstruir el estado.delete,compactaplica ambas: la compactación mantiene el último valor por clave mientras un período de retención sigue haciendo caducar los segmentos antiguos. El topic interno__consumer_offsetsusa esta combinación.
Configurar la retención a nivel de broker y de topic
La configuración de retención existe en dos niveles. La configuración del broker fija valores para todo el clúster mediante log.retention.hours (168), log.retention.bytes, log.segment.bytes y log.cleanup.policy, y esa retención de logs es la que hereda por defecto cada topic. La configuración a nivel de topic usa los equivalentes retention.ms, retention.bytes, segment.bytes y cleanup.policy, que se fijan al crear el topic o se modifican después en un clúster en funcionamiento. El nivel de topic siempre prevalece: la retención del topic sobrescribe la del servidor y ofrece un control granular de la retención por carga de trabajo. Si crea un topic sin sobrescrituras, simplemente toma los valores predeterminados del broker.
retention.bytes se aplica por partición, no por topic: un límite de 100 GB en un topic de 12 particiones permite 1,2 TB de espacio en disco, que se triplica con un factor de replicación de tres.
Ajustar la retención en un clúster en funcionamiento
La configuración de los topics es dinámica, así que puede configurar la retención de un topic activo sin reiniciar nada:
kafka-configs.sh --alter --entity-type topics --entity-name orders \
--add-config retention.ms=604800000
El nuevo valor se aplica a los segmentos que ya están en disco, no solo a los futuros. Puede ampliar una ventana sin problema; reduzca la retención solo cuando tenga la certeza de que los datos son prescindibles, porque la siguiente pasada de limpieza actuará sobre ellos y puede provocar una pérdida de datos irreversible.
Limpieza de logs y gestión de segmentos
Cada partición es un commit log de solo anexado (append-only) dividido en segmentos, y solo un segmento cerrado es candidato a limpieza. En disco, cada uno es un archivo .log junto a sus archivos de índice. Las escrituras van al segmento activo, que rota al alcanzar segment.bytes (1 GB por defecto) o segment.ms (siete días), lo que ocurra antes. Después, los brokers de Kafka evalúan cada archivo de segmento cerrado frente a la configuración de retención y eliminan los que cumplen los criterios, de modo que el límite de tiempo se aplica por segmento y no por registro.
Ese mecanismo explica por qué los datos sobreviven más allá de su ventana de retención. Un topic con poco tráfico puede tardar semanas en llenar un segmento de 1 GB, así que nada rota, nada pasa a ser candidato a limpieza y una ventana de siete días se comporta como una de siete semanas. Reducir segment.ms o el tamaño de los segmentos restablece el comportamiento esperado.
Los topics compactados los gestionan hilos dedicados del log cleaner (log.cleaner.threads, 1 por defecto). min.compaction.lag.ms garantiza una antigüedad mínima antes de que un registro pueda eliminarse por compactación, para que los consumidores de datos en tiempo real sigan viendo cada actualización. Un cleaner con pocos recursos se queda atrás y deja claves duplicadas.
Cómo afecta la retención al almacenamiento y al rendimiento
La retención es el principal factor de coste de almacenamiento: la tasa de ingesta por el tiempo de retención por el factor de replicación da el mínimo, de modo que 100 MB/s durante siete días con RF=3 son unos 180 TB. Por eso, controlar el coste de almacenamiento empieza por la ventana y no por el pedido de hardware. Las ventanas más largas no ralentizan la lectura de datos recientes, que se sirven desde la caché de páginas, pero multiplican los descriptores de archivo abiertos y alargan la recuperación de logs. La limpieza en sí es un simple borrado de archivos; la compactación consume CPU y E/S reales.
Buenas prácticas y problemas habituales
- Configure la retención por topic en lugar de un único valor para todo el clúster; los topics de auditoría y financieros rara vez necesitan la misma ventana que la telemetría de depuración, y las ventanas por topic son la única forma práctica de respetar políticas de retención de datos distintas.
- Combine los límites de retención por tiempo y por tamaño: el tiempo protege las obligaciones de cumplimiento normativo, el tamaño protege el volumen, y prevalece el que se active antes. Hacer caducar segmentos solo por tiempo le deja expuesto a un pico de tráfico.
- Alinee
segment.mscon su ventana más corta para que los segmentos roten de verdad. - Active la compactación de logs solo donde el topic sea realmente un changelog con clave; en un stream de eventos normal es CPU desperdiciada.
- Nunca trate un topic compactado como una copia de seguridad: los tombstones caducan y
delete.retention.msdecide cuándo. - Modifique la retención con
kafka-configs.sh, no editando archivos del servidor, y vigile después las métricas del log cleaner.
Acortar una ventana en un topic activo es irreversible: uno de los pocos errores que destruyen datos en lugar de simplemente retrasarlos. Los más de 11 expertos sénior en Kafka de AceMQ revisan esta configuración junto con la planificación de capacidad para más de 160 clientes empresariales en más de 26 países. Si un clúster se está llenando ahora mismo, el soporte de Kafka 24/7 incluye objetivos de respuesta desde 15 minutos, según el plan, junto con toda la gama de servicios empresariales de Kafka.
Si la pregunta detrás de este artículo es de arquitectura y no un incidente en curso (estrategia de particiones, dimensionamiento, diseño de seguridad, una migración), la consultoría de Kafka de AceMQ asigna a un ingeniero sénior. Si su equipo opera el clúster y quiere tenerlo cubierto cuando falle, el contrato adecuado es el soporte de Kafka 24/7.
Este es el sexto de los diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que surgen en un entorno de producción.
Preguntas frecuentes
¿Cuál es la política de retención predeterminada en Kafka?
La política de limpieza predeterminada de Apache Kafka es delete, con un período de retención de 168 horas, es decir, siete días, controlado por log.retention.hours a nivel de broker. Los límites de retención por tamaño vienen desactivados de fábrica: el valor predeterminado de log.retention.bytes es -1. Cualquier topic creado sin valores explícitos hereda estos valores. La mayoría de los despliegues en producción los sobrescriben por topic, porque un único ajuste para todo el clúster rara vez sirve para todas las cargas de trabajo.
¿Por qué mis datos de Kafka siguen ahí después del período de retención?
La retención se aplica solo a los segmentos de log cerrados, nunca al segmento en el que se está escribiendo. Si un topic tiene poco throughput, ese segmento puede tardar mucho en llegar a segment.bytes (1 GB por defecto) o a segment.ms, así que ningún dato se vuelve elegible para limpieza. Reducir segment.ms o el tamaño del segmento obliga a que los segmentos roten con más frecuencia y permite que la limpieza surta efecto. Los topics compactados se comportan de otra manera, ya que un log cleaner retrasado deja los registros antiguos en su lugar.
¿Cuál es la diferencia entre delete.retention.ms y retention.ms?
retention.ms define cuánto tiempo se conservan los registros en un topic que usa la política de limpieza delete. delete.retention.ms se aplica solo a los topics compactados, donde determina cuánto tiempo sobreviven los tombstones después de la compactación para que los consumidores puedan ver que se ha eliminado una clave. Son mecanismos distintos y no se sustituyen entre sí. Configurarlo demasiado bajo hace que los consumidores se pierdan eliminaciones y queden desincronizados con el topic de origen.
¿Puedo configurar una retención distinta para cada topic?
Sí. La configuración a nivel de topic sobrescribe el valor de todo el clúster, así que cada topic puede tener su propio retention.ms, retention.bytes y cleanup.policy. Configúrelos al crear el topic o modifíquelos después con kafka-configs.sh --alter --entity-type topics. Es el enfoque recomendado, porque los datos de cumplimiento, los changelogs y los streams de depuración tienen requisitos muy distintos.
¿Aumentar la retención de Kafka afecta al rendimiento?
Una retención más larga no hace más lentos a los consumidores que leen datos recientes, que se sirven desde la page cache del sistema operativo. Sí aumenta el uso de almacenamiento, el número de file handles abiertos y el tiempo que necesita un servidor para recuperar los logs tras un reinicio no limpio. Las reasignaciones de particiones también tardan más, porque hay más datos que mover. El coste práctico es de almacenamiento y tiempo de recuperación, no de throughput en estado estable.
Guías, comparativas e investigación

