En esta página
La arquitectura de Kafka consiste en un clúster de brokers que almacenan cada topic como un conjunto de logs particionados, replicados y de solo anexado (append-only), un pequeño quórum de controladores KRaft que gestiona los metadatos del clúster y aplicaciones cliente que escriben y leen directamente en esas particiones. No hay ninguna capa de enrutamiento intermedia: un productor envía cada registro directamente al broker líder de la partición de destino, y los consumidores leen de él. Desde Apache Kafka 4.0, publicado el 18 de marzo de 2025, ZooKeeper ha desaparecido y KRaft es la única forma de ejecutar el plano de control.
El diagrama muestra cómo se conectan las piezas; las secciones siguientes tratan cada una y los detalles que importan en producción.
Diagrama de la arquitectura de Kafka
Tres brokers alojan un topic, orders, con tres particiones y tres réplicas cada una. Cada broker es líder de una partición y seguidor de las otras dos, tres controladores KRaft guardan los metadatos y el grupo de consumidores billing reparte las particiones entre sus dos miembros.
Brokers, topics y particiones
Un broker es un servidor de Kafka que almacena datos y atiende las peticiones de los clientes. Un topic es un stream de eventos con nombre, como payments u orders, y cada topic se divide en particiones repartidas entre los brokers. Cada partición es un log ordenado de solo anexado (append-only): los eventos nuevos se añaden al final y reciben el siguiente offset secuencial. Leer un evento no lo borra; lo borra la retención, de modo que varias aplicaciones pueden leer los mismos datos a su propio ritmo.
El orden está garantizado dentro de una partición, no en todo el topic, y los eventos con la misma clave van siempre a la misma partición; por eso la clave habitual es un ID de pedido o de cliente. El número de particiones también limita el paralelismo, porque dentro de un grupo de consumidores cada partición la lee un solo consumidor a la vez.
Elija el número con cuidado. Kafka no puede reducir el número de particiones de un topic, y añadir particiones más adelante cambia la partición a la que se asigna cada clave, lo que rompe el orden por clave de los datos que ya están en tránsito. Consulte nuestra guía sobre estrategia de particionado en Kafka.
Replicación, líderes y el conjunto de réplicas sincronizadas
Cada partición tiene un factor de replicación. Una réplica es el líder y gestiona todas las escrituras; las demás son seguidoras que copian el log del líder. Kafka registra qué seguidoras están al día en el conjunto de réplicas sincronizadas (ISR). Una escritura solo se considera confirmada cuando todas las réplicas del ISR la tienen, y solo los miembros del ISR pueden convertirse en líder. Con f+1 réplicas, un topic sobrevive a f fallos de broker sin perder datos confirmados.
Tres parámetros deciden cuánto vale esa garantía en la práctica:
- Factor de replicación. Tres es el valor habitual en producción.
acksen el productor. Conacks=all, el productor espera a todo el ISR. Conacks=1, solo el líder tiene el registro cuando se informa al productor de que la escritura ha tenido éxito.min.insync.replicasen el topic. Si el ISR baja de este número, la partición rechaza las escrituras conacks=allen lugar de aceptarlas en demasiado pocas copias.
Factor de replicación 3 con min.insync.replicas=2 y acks=all es la base duradera habitual: un broker puede estar parado por mantenimiento y las escrituras continúan en dos copias. La elección de líder no limpia (unclean), que permite que una réplica desincronizada tome el relevo a costa de perder datos, está desactivada por defecto desde Kafka 0.11.0.0.
Controladores KRaft: el plano de control sin ZooKeeper
Los brokers guardan los datos; los controladores, los metadatos: qué topics existen, dónde residen las réplicas de cada partición, qué réplica es líder y quién forma parte de cada ISR. En modo KRaft, los controladores forman un quórum Raft y mantienen ese estado en un log de metadatos replicado. Uno está activo; los demás son standbys en caliente.
El parámetro process.roles decide qué hace un nodo: broker, controller o ambos. La documentación de Kafka no recomienda el modo combinado para despliegues críticos, porque entonces los controladores no pueden reiniciarse ni escalarse por separado de los brokers. Los clústeres de producción suelen ejecutar tres o cinco controladores dedicados. Debe haber una mayoría activa, así que tres controladores toleran un fallo y cinco toleran dos.
Kafka 4.0 eliminó ZooKeeper por completo, por lo que un clúster que siga en ZooKeeper debe migrar a KRaft en una versión 3.x antes de poder pasar a 4.x. Las fechas de soporte de cada versión y la ruta de actualización están en nuestra guía de fin de vida útil (EOL) de Kafka.
Productores, consumidores y grupos de consumidores
Un productor solicita metadatos a cualquier broker, averigua qué broker es líder de cada partición y envía lotes directamente a los líderes. La clave del registro determina la partición; los registros sin clave se reparten entre particiones. El agrupamiento en lotes y la compresión se realizan en el cliente.
Los consumidores leen bajo demanda (pull). Cada uno lee a partir de un offset y confirma su posición, así que el estado que Kafka guarda por partición para un grupo es un único número. Los consumidores que comparten un group.id forman un grupo de consumidores (consumer group), y Kafka asigna cada partición a exactamente un miembro. Un grupo con más consumidores que particiones deja inactivos a los sobrantes, y dos grupos distintos reciben cada uno el stream completo.
Dos versiones recientes han cambiado este panorama. Kafka 4.0 hizo disponible de forma general el protocolo de rebalanceo de nueva generación (KIP-848). Está activado por defecto en el broker, y los clientes lo adoptan con group.protocol=consumer; sustituye los rebalanceos que detienen todo el grupo y que están detrás de muchos incidentes de grupos de consumidores. Después, Kafka 4.2 declaró los share groups (KIP-932, Queues for Kafka) listos para producción. Un share group permite que varios consumidores lean la misma partición con confirmación (ack) por registro, lo que ofrece un reparto de trabajo tipo cola sobre topics normales.
Almacenamiento: segmentos de log, caché de páginas y almacenamiento por niveles (tiered storage)
En disco, una partición es un directorio de ficheros de segmento. El segmento activo recibe las nuevas escrituras; cuando alcanza segment.bytes (1 GiB por defecto) o su límite de tiempo, se cierra y comienza uno nuevo. La retención elimina segmentos completos, por tiempo (siete días por defecto) o por tamaño (desactivado por defecto), y un segmento solo se borra cuando su registro más reciente ha caducado. Nuestra guía sobre la política de retención de Kafka explica los parámetros.
Las lecturas se sirven desde la caché de páginas, y los datos pasan de la caché de páginas al socket mediante la llamada al sistema sendfile, por lo que los consumidores que van al día a menudo no provocan ninguna lectura de disco. Esa ruta zero-copy no se usa cuando TLS está activado, porque el cifrado se realiza en espacio de usuario.
El almacenamiento por niveles (tiered storage), listo para producción desde Kafka 3.9, añade un nivel remoto. Los segmentos cerrados se copian a un almacén externo como S3 o HDFS, y local.retention.ms o local.retention.bytes limitan cuánto permanece en los discos de los brokers. No admite topics compactados.
Kafka Connect y Kafka Streams
Ambos se basan en los clientes estándar de productor y consumidor, así que heredan las mismas reglas sobre particiones, grupos y offsets.
- Kafka Connect se ejecuta en servidores worker independientes y mueve datos entre Kafka y otros sistemas: por ejemplo, CDC (captura de datos de cambios) desde una base de datos relacional hacia un topic, o de un topic a un almacenamiento de objetos o a un índice de búsqueda.
- Kafka Streams es una librería Java que se ejecuta dentro de su aplicación. Lee topics, los transforma, combina y agrega, y escribe los resultados en otros topics. Sus almacenes de estado locales están respaldados por topics changelog en Kafka, de modo que una instancia reiniciada puede reconstruirlos.
Como ambos son clientes, sus fallos suelen manifestarse como problemas de cliente: lag, rebalanceos o una tarea de conector atascada en un registro defectuoso.
Para qué se usa Kafka, en resumen
Kafka mueve y almacena streams de eventos entre sistemas que no deberían depender directamente unos de otros. El proyecto Kafka enumera estos usos principales:
- Mensajería entre servicios, en sustitución de un broker tradicional para tráfico duradero y de alto rendimiento.
- Seguimiento de la actividad en sitios web, el caso de uso original de Kafka: páginas vistas, búsquedas y otras acciones de usuario publicadas en topics.
- Agregación de métricas y logs de muchos hosts en flujos centralizados.
- Procesamiento de streams de eventos brutos para convertirlos en topics enriquecidos o agregados.
- Event sourcing y commit logs, donde el topic es el registro de los cambios de estado y la compactación del log conserva el último valor de cada clave.
En la práctica: pagos, seguimiento de envíos, datos de IoT y columnas vertebrales de eventos para microservicios. Kafka encaja peor en colas de tareas pequeñas que necesitan enrutamiento por mensaje, prioridades o entrega diferida. Ese es terreno de RabbitMQ, y nuestra comparativa RabbitMQ vs Kafka explica dónde está la frontera. Para cada caso de uso y la complicación operativa que conlleva, consulte para qué se usa Kafka.
Cuándo pedir ayuda
La mayoría de los incidentes de Kafka se remontan a alguna de las decisiones descritas arriba: un número de particiones elegido antes de entender la clave, min.insync.replicas dejado en 1, controladores que comparten hosts con brokers muy cargados o una retención dimensionada para discos que el almacenamiento por niveles (tiered storage) podría haber aliviado. Si quiere una segunda opinión sobre un clúster existente, o ingenieros de guardia cuando falle, AceMQ ofrece soporte de Kafka independiente para Apache Kafka de código abierto, y servicios gestionados de Kafka si prefiere hacer el traspaso de la operación diaria.
Fuentes
- Apache Kafka: Introducción
- Documentación de Apache Kafka 4.3: casos de uso
- Documentación de Apache Kafka 4.3: diseño (replicación, ISR, consumidores, sendfile)
- Documentación de Apache Kafka 4.3: implementación del log (segmentos y borrado)
- Documentación de Apache Kafka 4.3: configuración de topics (segment.bytes, retention.ms)
- Documentación de Apache Kafka 4.3: operaciones básicas de Kafka (cambios de particiones)
- Documentación de Apache Kafka 4.3: KRaft
- Documentación de Apache Kafka 4.3: almacenamiento por niveles (tiered storage)
- Documentación de Apache Kafka 4.3: arquitectura de Kafka Streams
- Anuncio de la versión Apache Kafka 4.0.0, 18 de marzo de 2025
- Anuncio de la versión Apache Kafka 4.2.0, 17 de febrero de 2026
- Anuncio de la versión Apache Kafka 3.9.0, 6 de noviembre de 2024
Preguntas frecuentes
¿Cuáles son los componentes principales de la arquitectura de Kafka?
Brokers que almacenan cada topic como logs particionados y replicados; un quórum de controladores KRaft que gestiona los metadatos del clúster; productores que escriben en los líderes de partición, y consumidores, organizados en grupos de consumidores (consumer groups), que leen de ellos. Kafka Connect y Kafka Streams se basan en los mismos clientes.
¿Kafka sigue usando ZooKeeper?
No. Apache Kafka 4.0, publicado el 18 de marzo de 2025, es la primera versión principal que funciona completamente sin ZooKeeper. Los metadatos del clúster los gestionan los controladores KRaft. Un clúster que siga en ZooKeeper debe migrar a KRaft en una versión 3.x antes de poder actualizarse a 4.x.
¿Cuántos controladores KRaft necesita un clúster de Kafka?
Normalmente tres o cinco. Debe haber una mayoría disponible, así que tres controladores toleran un fallo y cinco toleran dos. La documentación de Kafka no recomienda nodos combinados de broker y controlador para despliegues críticos.
¿Qué es el ISR en Kafka?
El conjunto de réplicas sincronizadas (in-sync replica set): las réplicas de una partición que están al día con el líder. Una escritura se confirma cuando todos los miembros del ISR la tienen, y solo los miembros del ISR pueden ser elegidos líder. Con acks=all y min.insync.replicas configurado en el topic, una partición rechaza escrituras cuando hay demasiado pocas réplicas sincronizadas.
¿Para qué se utiliza Kafka?
Mover y almacenar streams de eventos entre sistemas: mensajería entre servicios, seguimiento de la actividad en sitios web, agregación de métricas y logs, procesamiento de streams, event sourcing y uso como commit log. En la práctica, eso significa pagos, procesamiento de pedidos, datos de IoT y de flotas, y la columna vertebral de eventos de los microservicios.
¿Se puede reducir el número de particiones de un topic de Kafka?
No. Kafka no permite reducir el número de particiones de un topic. Se pueden añadir particiones, pero eso cambia la partición a la que se asigna cada clave y, por tanto, afecta al orden por clave. Para reducir particiones, cree un topic nuevo y traslade a él productores y consumidores.
¿Qué es el almacenamiento por niveles (tiered storage) de Kafka?
Una funcionalidad, lista para producción desde Kafka 3.9, que copia los segmentos de log cerrados a un almacenamiento externo como S3 o HDFS, de modo que los brokers solo conservan los datos recientes en el disco local. No admite topics compactados.
Guías, comparativas e investigación
Profundice en Kafka
Guías
2Comparativas
9- NATS vs Kafka en 2026: comparativa de Core NATS, JetStream y Kafka
- Mosquitto vs Kafka: ¿broker MQTT o log de eventos?
- Kafka vs Kinesis: comparativa
- Mejores proveedores de Kafka gestionado en 2026, más allá de los hiperescaladores
- Comparativa de opciones de Kafka BYOC (en su propia nube)
- Alternativas a Confluent y competidores tras la adquisición por IBM

