BlogKafka

Arquitectura de Kafka: brokers, particiones, replicación y KRaft

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 9 min de lectura

Arquitectura de Kafka: brokers, particiones, replicación y KRaft
En esta página

La arquitectura de Kafka consiste en un clúster de brokers que almacenan cada topic como un conjunto de logs particionados, replicados y de solo anexado (append-only), un pequeño quórum de controladores KRaft que gestiona los metadatos del clúster y aplicaciones cliente que escriben y leen directamente en esas particiones. No hay ninguna capa de enrutamiento intermedia: un productor envía cada registro directamente al broker líder de la partición de destino, y los consumidores leen de él. Desde Apache Kafka 4.0, publicado el 18 de marzo de 2025, ZooKeeper ha desaparecido y KRaft es la única forma de ejecutar el plano de control.

El diagrama muestra cómo se conectan las piezas; las secciones siguientes tratan cada una y los detalles que importan en producción.

Diagrama de la arquitectura de Kafka

Diagrama de la arquitectura de KafkaLos productores escriben en los líderes de partición de tres brokers. Tres controladores KRaft gestionan los metadatos. Un grupo de consumidores reparte las particiones entre dos consumidores. Kafka Connect y Kafka Streams funcionan como clientes, y los segmentos cerrados pueden pasar a almacenamiento de objetos.Clúster de KafkaQuórum de controladores KRaft (metadatos del clúster)Controlador 1activoControlador 2standbyControlador 3standbyBroker 1orders-0líderorders-1seguidororders-2seguidorBroker 2orders-0seguidororders-1líderorders-2seguidorBroker 3orders-0seguidororders-1seguidororders-2líderTopic "orders": 3 particiones, factor de replicación 3Los líderes reciben escrituras; los seguidores del ISR las copianFlechas discontinuas: metadatos del controlador activoProductor Aclave = ID de pedidoProductor Bescrituras hacia loslíderes de particiónGrupo de consumidores"billing"Consumidor 1orders-0, -1Consumidor 2orders-2leen de loslíderes de particiónWorkers de Kafka Connectbases de datos, objetos, búsquedaAplicación Kafka Streamslibrería dentro de su appAlmacén de objetostiered storagesegmentos cerrados

Tres brokers alojan un topic, orders, con tres particiones y tres réplicas cada una. Cada broker es líder de una partición y seguidor de las otras dos, tres controladores KRaft guardan los metadatos y el grupo de consumidores billing reparte las particiones entre sus dos miembros.

Brokers, topics y particiones

Un broker es un servidor de Kafka que almacena datos y atiende las peticiones de los clientes. Un topic es un stream de eventos con nombre, como payments u orders, y cada topic se divide en particiones repartidas entre los brokers. Cada partición es un log ordenado de solo anexado (append-only): los eventos nuevos se añaden al final y reciben el siguiente offset secuencial. Leer un evento no lo borra; lo borra la retención, de modo que varias aplicaciones pueden leer los mismos datos a su propio ritmo.

El orden está garantizado dentro de una partición, no en todo el topic, y los eventos con la misma clave van siempre a la misma partición; por eso la clave habitual es un ID de pedido o de cliente. El número de particiones también limita el paralelismo, porque dentro de un grupo de consumidores cada partición la lee un solo consumidor a la vez.

Elija el número con cuidado. Kafka no puede reducir el número de particiones de un topic, y añadir particiones más adelante cambia la partición a la que se asigna cada clave, lo que rompe el orden por clave de los datos que ya están en tránsito. Consulte nuestra guía sobre estrategia de particionado en Kafka.

Replicación, líderes y el conjunto de réplicas sincronizadas

Cada partición tiene un factor de replicación. Una réplica es el líder y gestiona todas las escrituras; las demás son seguidoras que copian el log del líder. Kafka registra qué seguidoras están al día en el conjunto de réplicas sincronizadas (ISR). Una escritura solo se considera confirmada cuando todas las réplicas del ISR la tienen, y solo los miembros del ISR pueden convertirse en líder. Con f+1 réplicas, un topic sobrevive a f fallos de broker sin perder datos confirmados.

Tres parámetros deciden cuánto vale esa garantía en la práctica:

  • Factor de replicación. Tres es el valor habitual en producción.
  • acks en el productor. Con acks=all, el productor espera a todo el ISR. Con acks=1, solo el líder tiene el registro cuando se informa al productor de que la escritura ha tenido éxito.
  • min.insync.replicas en el topic. Si el ISR baja de este número, la partición rechaza las escrituras con acks=all en lugar de aceptarlas en demasiado pocas copias.

Factor de replicación 3 con min.insync.replicas=2 y acks=all es la base duradera habitual: un broker puede estar parado por mantenimiento y las escrituras continúan en dos copias. La elección de líder no limpia (unclean), que permite que una réplica desincronizada tome el relevo a costa de perder datos, está desactivada por defecto desde Kafka 0.11.0.0.

Controladores KRaft: el plano de control sin ZooKeeper

Los brokers guardan los datos; los controladores, los metadatos: qué topics existen, dónde residen las réplicas de cada partición, qué réplica es líder y quién forma parte de cada ISR. En modo KRaft, los controladores forman un quórum Raft y mantienen ese estado en un log de metadatos replicado. Uno está activo; los demás son standbys en caliente.

El parámetro process.roles decide qué hace un nodo: broker, controller o ambos. La documentación de Kafka no recomienda el modo combinado para despliegues críticos, porque entonces los controladores no pueden reiniciarse ni escalarse por separado de los brokers. Los clústeres de producción suelen ejecutar tres o cinco controladores dedicados. Debe haber una mayoría activa, así que tres controladores toleran un fallo y cinco toleran dos.

Kafka 4.0 eliminó ZooKeeper por completo, por lo que un clúster que siga en ZooKeeper debe migrar a KRaft en una versión 3.x antes de poder pasar a 4.x. Las fechas de soporte de cada versión y la ruta de actualización están en nuestra guía de fin de vida útil (EOL) de Kafka.

Productores, consumidores y grupos de consumidores

Un productor solicita metadatos a cualquier broker, averigua qué broker es líder de cada partición y envía lotes directamente a los líderes. La clave del registro determina la partición; los registros sin clave se reparten entre particiones. El agrupamiento en lotes y la compresión se realizan en el cliente.

Los consumidores leen bajo demanda (pull). Cada uno lee a partir de un offset y confirma su posición, así que el estado que Kafka guarda por partición para un grupo es un único número. Los consumidores que comparten un group.id forman un grupo de consumidores (consumer group), y Kafka asigna cada partición a exactamente un miembro. Un grupo con más consumidores que particiones deja inactivos a los sobrantes, y dos grupos distintos reciben cada uno el stream completo.

Dos versiones recientes han cambiado este panorama. Kafka 4.0 hizo disponible de forma general el protocolo de rebalanceo de nueva generación (KIP-848). Está activado por defecto en el broker, y los clientes lo adoptan con group.protocol=consumer; sustituye los rebalanceos que detienen todo el grupo y que están detrás de muchos incidentes de grupos de consumidores. Después, Kafka 4.2 declaró los share groups (KIP-932, Queues for Kafka) listos para producción. Un share group permite que varios consumidores lean la misma partición con confirmación (ack) por registro, lo que ofrece un reparto de trabajo tipo cola sobre topics normales.

Almacenamiento: segmentos de log, caché de páginas y almacenamiento por niveles (tiered storage)

En disco, una partición es un directorio de ficheros de segmento. El segmento activo recibe las nuevas escrituras; cuando alcanza segment.bytes (1 GiB por defecto) o su límite de tiempo, se cierra y comienza uno nuevo. La retención elimina segmentos completos, por tiempo (siete días por defecto) o por tamaño (desactivado por defecto), y un segmento solo se borra cuando su registro más reciente ha caducado. Nuestra guía sobre la política de retención de Kafka explica los parámetros.

Las lecturas se sirven desde la caché de páginas, y los datos pasan de la caché de páginas al socket mediante la llamada al sistema sendfile, por lo que los consumidores que van al día a menudo no provocan ninguna lectura de disco. Esa ruta zero-copy no se usa cuando TLS está activado, porque el cifrado se realiza en espacio de usuario.

El almacenamiento por niveles (tiered storage), listo para producción desde Kafka 3.9, añade un nivel remoto. Los segmentos cerrados se copian a un almacén externo como S3 o HDFS, y local.retention.ms o local.retention.bytes limitan cuánto permanece en los discos de los brokers. No admite topics compactados.

Kafka Connect y Kafka Streams

Ambos se basan en los clientes estándar de productor y consumidor, así que heredan las mismas reglas sobre particiones, grupos y offsets.

  • Kafka Connect se ejecuta en servidores worker independientes y mueve datos entre Kafka y otros sistemas: por ejemplo, CDC (captura de datos de cambios) desde una base de datos relacional hacia un topic, o de un topic a un almacenamiento de objetos o a un índice de búsqueda.
  • Kafka Streams es una librería Java que se ejecuta dentro de su aplicación. Lee topics, los transforma, combina y agrega, y escribe los resultados en otros topics. Sus almacenes de estado locales están respaldados por topics changelog en Kafka, de modo que una instancia reiniciada puede reconstruirlos.

Como ambos son clientes, sus fallos suelen manifestarse como problemas de cliente: lag, rebalanceos o una tarea de conector atascada en un registro defectuoso.

Para qué se usa Kafka, en resumen

Kafka mueve y almacena streams de eventos entre sistemas que no deberían depender directamente unos de otros. El proyecto Kafka enumera estos usos principales:

  • Mensajería entre servicios, en sustitución de un broker tradicional para tráfico duradero y de alto rendimiento.
  • Seguimiento de la actividad en sitios web, el caso de uso original de Kafka: páginas vistas, búsquedas y otras acciones de usuario publicadas en topics.
  • Agregación de métricas y logs de muchos hosts en flujos centralizados.
  • Procesamiento de streams de eventos brutos para convertirlos en topics enriquecidos o agregados.
  • Event sourcing y commit logs, donde el topic es el registro de los cambios de estado y la compactación del log conserva el último valor de cada clave.

En la práctica: pagos, seguimiento de envíos, datos de IoT y columnas vertebrales de eventos para microservicios. Kafka encaja peor en colas de tareas pequeñas que necesitan enrutamiento por mensaje, prioridades o entrega diferida. Ese es terreno de RabbitMQ, y nuestra comparativa RabbitMQ vs Kafka explica dónde está la frontera. Para cada caso de uso y la complicación operativa que conlleva, consulte para qué se usa Kafka.

Cuándo pedir ayuda

La mayoría de los incidentes de Kafka se remontan a alguna de las decisiones descritas arriba: un número de particiones elegido antes de entender la clave, min.insync.replicas dejado en 1, controladores que comparten hosts con brokers muy cargados o una retención dimensionada para discos que el almacenamiento por niveles (tiered storage) podría haber aliviado. Si quiere una segunda opinión sobre un clúster existente, o ingenieros de guardia cuando falle, AceMQ ofrece soporte de Kafka independiente para Apache Kafka de código abierto, y servicios gestionados de Kafka si prefiere hacer el traspaso de la operación diaria.

Fuentes

Preguntas frecuentes

¿Cuáles son los componentes principales de la arquitectura de Kafka?

Brokers que almacenan cada topic como logs particionados y replicados; un quórum de controladores KRaft que gestiona los metadatos del clúster; productores que escriben en los líderes de partición, y consumidores, organizados en grupos de consumidores (consumer groups), que leen de ellos. Kafka Connect y Kafka Streams se basan en los mismos clientes.

¿Kafka sigue usando ZooKeeper?

No. Apache Kafka 4.0, publicado el 18 de marzo de 2025, es la primera versión principal que funciona completamente sin ZooKeeper. Los metadatos del clúster los gestionan los controladores KRaft. Un clúster que siga en ZooKeeper debe migrar a KRaft en una versión 3.x antes de poder actualizarse a 4.x.

¿Cuántos controladores KRaft necesita un clúster de Kafka?

Normalmente tres o cinco. Debe haber una mayoría disponible, así que tres controladores toleran un fallo y cinco toleran dos. La documentación de Kafka no recomienda nodos combinados de broker y controlador para despliegues críticos.

¿Qué es el ISR en Kafka?

El conjunto de réplicas sincronizadas (in-sync replica set): las réplicas de una partición que están al día con el líder. Una escritura se confirma cuando todos los miembros del ISR la tienen, y solo los miembros del ISR pueden ser elegidos líder. Con acks=all y min.insync.replicas configurado en el topic, una partición rechaza escrituras cuando hay demasiado pocas réplicas sincronizadas.

¿Para qué se utiliza Kafka?

Mover y almacenar streams de eventos entre sistemas: mensajería entre servicios, seguimiento de la actividad en sitios web, agregación de métricas y logs, procesamiento de streams, event sourcing y uso como commit log. En la práctica, eso significa pagos, procesamiento de pedidos, datos de IoT y de flotas, y la columna vertebral de eventos de los microservicios.

¿Se puede reducir el número de particiones de un topic de Kafka?

No. Kafka no permite reducir el número de particiones de un topic. Se pueden añadir particiones, pero eso cambia la partición a la que se asigna cada clave y, por tanto, afecta al orden por clave. Para reducir particiones, cree un topic nuevo y traslade a él productores y consumidores.

¿Qué es el almacenamiento por niveles (tiered storage) de Kafka?

Una funcionalidad, lista para producción desde Kafka 3.9, que copia los segmentos de log cerrados a un almacenamiento externo como S3 o HDFS, de modo que los brokers solo conservan los datos recientes en el disco local. No admite topics compactados.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos