En esta página
Una arquitectura orientada a eventos con Kafka utiliza los topics de Kafka como log duradero entre servicios: los productores publican hechos como OrderPlaced, y cualquier número de grupos de consumidores reacciona de forma independiente, a su propio ritmo, y puede hacer replay del histórico. Kafka aporta orden por partición, retención y replay. No decide qué contiene un evento, cómo evolucionan los esquemas, cómo evitar las escrituras duales ni qué pasa con un mensaje que falla una y otra vez. De esas decisiones trata esta guía.
Para los detalles internos del broker, consulte arquitectura de Kafka.
Tres patrones que se llaman orientados a eventos
El artículo de Martin Fowler de 2017 distingue patrones que a menudo se meten en el mismo saco, y el que usted construya determina el diseño de los topics y la retención.
| Patrón | Qué lleva el evento | Qué implica en Kafka |
|---|---|---|
| Notificación de eventos | Un hecho breve y un ID: se ha realizado el pedido 123 | Los consumidores llaman al servicio de origen para obtener los detalles, así que la carga de su API crece con cada nuevo consumidor. Basta con la retención normal basada en tiempo. |
| Transferencia de estado en el evento | El estado que necesitan los consumidores | Los consumidores guardan una copia local y dejan de llamar al origen. Un topic compactado (cleanup.policy=compact) conserva el último valor por clave, de modo que un consumidor nuevo puede reconstruir esa copia. |
| Event sourcing | Cada cambio de estado, como sistema de registro | Los eventos no deben borrarse nunca: retention.ms=-1 en un topic con política delete, no compactación, que elimina los eventos antiguos de cada clave. |
La retención por defecto de Kafka es de siete días (log.retention.hours=168), así que cualquier topic a partir del cual se reconstruya estado necesita una decisión explícita de retención. La mayoría de los sistemas combinan los dos primeros patrones; event sourcing implica hacer replay de todos los eventos con código que siga entendiendo el esquema más antiguo.
Diseño de topics y claves
Granularidad. Un topic por tipo de evento (orders.order-placed) es fácil de proteger y de evolucionar. Un topic por stream de entidad (orders.events, con realizado, pagado y enviado) mantiene todos los cambios de un pedido en una única secuencia. Kafka solo ordena los registros dentro de una partición, así que si un consumidor necesita recibir el realizado antes que el pagado para un mismo pedido, ambos tipos deben compartir topic.
Claves. Use el ID de la entidad o del agregado como clave del registro, para que el particionador por defecto envíe todos los eventos de un pedido a la misma partición. Una clave con unos pocos valores muy calientes, como un gran tenant, sobrecarga una partición y un consumidor. Añadir particiones más adelante cambia el hash de las claves y rompe el orden por clave durante el cambio, así que dimensione pensando en el crecimiento desde el principio; consulte nuestra guía de estrategia de particionado en Kafka. Configure la replicación y la retención por topic en lugar de depender de los valores por defecto del broker.
Esquemas y compatibilidad
Los eventos son un contrato entre equipos que quizá nunca hablen entre sí. Asigne un esquema (Avro, Protobuf o JSON Schema) a cada topic y deje que un registro rechace los cambios incompatibles en el momento del registro, no en el stack trace de un consumidor. Confluent Schema Registry (Confluent Community License) usa BACKWARD por defecto: los consumidores con el esquema nuevo pueden leer datos antiguos, así que puede eliminar campos y añadir campos opcionales, y actualiza primero los consumidores. Apicurio Registry es una alternativa con licencia Apache 2.0.
- Use
BACKWARD_TRANSITIVEoFULL_TRANSITIVEen los topics de los que se hace replay: los modos transitivos comprueban todas las versiones anteriores, y un replay las lee todas. - Nunca relaje un topic compartido a
NONEpara forzar un cambio incompatible; publique una nueva versión del topic. - Para varios tipos de evento en un mismo topic, cambie la estrategia por defecto
TopicNameStrategyporRecordNameStrategyoTopicRecordNameStrategy.
Dote a cada evento de un sobre: un ID de evento único, el tipo, cuándo ocurrió y un ID de correlación.
Orden e idempotencia
En el lado del productor, los clientes actuales de Kafka usan por defecto acks=all y enable.idempotence=true, y la documentación del productor indica que el orden se mantiene con la idempotencia activada siempre que max.in.flight.requests.per.connection sea 5 o menos. Compruebe que los servicios más antiguos no los hayan sobrescrito:
acks=all
enable.idempotence=true
max.in.flight.requests.per.connection=5El productor idempotente solo elimina los duplicados de sus propios reintentos. Un consumidor que procesa un lote y cae antes de confirmar los offsets lo vuelve a procesar tras el rebalanceo. Haga que cada handler sea idempotente: registre los IDs de evento procesados en la misma transacción que el efecto secundario, o haga upsert con clave de entidad y versión.
El patrón outbox con Debezium
El error de pérdida de datos más habitual en los servicios orientados a eventos es la escritura dual: confirmar en la base de datos y luego publicar en Kafka. Si el proceso cae entre ambas operaciones, la base de datos y el stream de eventos dejan de coincidir.
El patrón outbox transaccional elimina la segunda escritura. El servicio inserta el evento en una tabla outbox en la misma transacción que el cambio de negocio; Debezium lee el log de cambios de la base de datos y su outbox event router convierte cada fila en un evento de dominio:
transforms=outbox
transforms.outbox.type=io.debezium.transforms.outbox.EventRouter
# outbox columns: id, aggregatetype, aggregateid, type, payload
# default topic: outbox.event.${routedByValue} (the aggregatetype)
# default record key: aggregateidUsar aggregateid como clave mantiene en orden los eventos de cada agregado. Purgue periódicamente las filas antiguas del outbox y deduplique por el id del outbox, porque un reinicio del conector puede publicar una fila dos veces. Nuestros ingenieros de soporte de Debezium aplican este patrón en PostgreSQL, SQL Server y Oracle. Las opciones de Outbox y CDC se comparan en Alternativas a Debezium.
Grupos de consumidores, reintentos y topics dead-letter
Cada grupo de consumidores recibe todos los eventos; dentro de un grupo, cada partición se asigna a un único miembro, por lo que el número de particiones limita el paralelismo. Kafka 4.0 hizo disponible de forma general el nuevo protocolo de grupos de consumidores (KIP-848) para rebalanceos más rápidos, pero los clientes usan por defecto group.protocol=classic y deben activarlo explícitamente con group.protocol=consumer; consulte nuestra guía de rebalanceo en Kafka.
Kafka no tiene cola dead-letter para los consumidores normales, así que la gestión de fallos depende de su diseño:
- Reintento in situ para errores transitorios, con backoff y un límite. El orden se mantiene pero la partición se bloquea, y cada bucle de poll debe terminar dentro de
max.poll.interval.ms(cinco minutos por defecto) o el consumidor abandona el grupo. - Topics de reintento como
orders.retry.5mpara errores que pueden resolverse más tarde. La partición sigue avanzando, pero el evento reintentado queda fuera de orden respecto a su clave. - Un topic dead-letter para los eventos que nunca tendrán éxito, con cabeceras que registren el error, el topic de origen, la partición y el offset, una alerta y una vía de replay.
Spring for Apache Kafka y frameworks similares implementan topics de reintento y dead-letter. Los conectores sink de Kafka Connect usan errors.tolerance=all con errors.deadletterqueue.topic.name. Para trabajo tipo cola sin orden por clave, Kafka 4.2 dejó los share groups listos para producción, con confirmación (ack) por registro.
Exactly-once donde importa
Las transacciones de Kafka ofrecen procesamiento exactly-once a los pipelines consume-transform-produce que no salen de Kafka: una aplicación Kafka Streams con processing.guarantee=exactly_once_v2, o un productor transaccional que confirma de forma atómica los offsets consumidos y los registros de salida, leídos aguas abajo con isolation.level=read_committed (el valor por defecto del consumidor es read_uncommitted). No cubre efectos secundarios fuera de Kafka, como una escritura en base de datos o una llamada de pago, que siguen necesitando handlers idempotentes. Nuestra guía de semántica exactly-once en Kafka explica cómo funciona.
Observabilidad
- Lag de los consumidores por partición, no solo por grupo: una partición atascada se oculta dentro de un total sano. Consulte lag de consumidores (consumer lag) en Kafka.
- Latencia de extremo a extremo: marca de tiempo del evento frente a momento de procesamiento, por grupo de consumidores.
- Topics dead-letter: alerta ante cualquier registro nuevo.
- Frecuencia de rebalanceo, errores del productor y particiones con replicación insuficiente.
- Trazabilidad: un ID de correlación en las cabeceras de los registros, para poder seguir una transacción a través de los servicios.
Modos de fallo habituales
- Poison message (poison pill). Un único evento mal formado falla en todos los reintentos y bloquea su partición. Solución: reintentos limitados y, después, un topic dead-letter.
- Bucles de rebalanceo. Un handler lento supera
max.poll.interval.ms, sus particiones se reasignan y el ciclo se repite. Solución: reducirmax.poll.recordso acelerar los handlers. - Pérdida silenciosa por retención. Un consumidor desconectado durante más tiempo que la retención del topic vuelve a encontrarse con eventos borrados y, con
auto.offset.reseten su valor por defectolatest, salta hacia delante sin ningún error. Consulte política de retención de Kafka. - Particiones calientes por claves desequilibradas, cambios de esquema incompatibles forzados y escrituras duales sin patrón outbox.
Si algunos flujos son en realidad colas de tareas con enrutamiento y prioridades, consulte RabbitMQ vs Kafka.
Cuándo pedir ayuda
Los ingenieros de soporte de Kafka de AceMQ revisan el diseño de topics, claves, esquemas y reintentos, y responden cuando algo falla, en Kafka autogestionado, Confluent Platform y Amazon MSK; los servicios gestionados de Kafka se encargan de operar los clústeres por usted.
Fuentes
- Martin Fowler: What do you mean by “Event-Driven”?
- Apache Kafka: configuración del productor (acks, idempotencia, orden)
- Apache Kafka: configuración del consumidor (group.protocol, max.poll.interval.ms, auto.offset.reset)
- Apache Kafka: configuración del broker (log.retention.hours)
- Apache Kafka: guía de usuario de Kafka Connect (informes de errores y cola dead-letter)
- Anuncio de la versión Apache Kafka 4.0.0 (KIP-848)
- Anuncio de la versión Apache Kafka 4.2.0 (share groups)
- Confluent: evolución y compatibilidad de esquemas
- Debezium: Outbox Event Router
- Apicurio Registry (Apache 2.0)
Preguntas frecuentes
¿Qué es una arquitectura orientada a eventos con Kafka?
Los servicios publican hechos sobre lo ocurrido en topics de Kafka, y otros servicios los consumen mediante grupos de consumidores (consumer groups), cada uno a su ritmo. Kafka conserva los eventos durante un periodo de retención, de modo que un consumidor nuevo o que se recupera puede hacer replay de ellos, y mantiene el orden de los eventos dentro de cada partición.
¿Encaja Kafka en una arquitectura orientada a eventos?
Sí, cuando muchos consumidores necesitan los mismos eventos, el replay es importante y basta con el orden por entidad. Encaja peor para el enrutamiento por mensaje, las prioridades o el patrón petición-respuesta entre unos pocos servicios, donde un broker como RabbitMQ resulta más sencillo.
¿Conviene usar un topic por tipo de evento o por entidad?
Un topic por tipo de evento es más fácil de proteger y de evolucionar. Un topic por stream de entidad, con el ID de la entidad como clave, mantiene en orden todos los eventos de una entidad. Si los consumidores dependen del orden entre distintos tipos de evento de la misma entidad, deben compartir topic.
¿Cómo evito las escrituras duales entre mi base de datos y Kafka?
Utilice el patrón outbox transaccional: escriba el evento en una tabla outbox dentro de la misma transacción que el cambio de negocio y deje que una herramienta de CDC (captura de datos de cambios) como Debezium lo publique. El outbox event router usa el ID del agregado como clave de los registros, de modo que los eventos de cada agregado se mantienen en orden.
¿Tiene Kafka una cola dead-letter (DLQ)?
No para los consumidores normales. Los conectores sink de Kafka Connect pueden escribir los registros fallidos en un topic dead-letter con errors.deadletterqueue.topic.name. Los consumidores de aplicación implementan los topics de reintento y dead-letter por su cuenta o mediante un framework como Spring for Apache Kafka.
¿Necesito la semántica exactly-once de Kafka?
Solo en pipelines que leen de Kafka y vuelven a escribir en Kafka, donde un duplicado altera el resultado, como las agregaciones. Exactly-once no cubre escrituras en bases de datos ni llamadas a API externas, así que los handlers siguen teniendo que ser idempotentes.
Hablar con un ingeniero
¿Necesita ayuda con Kafka?
Ingenieros sénior que lo gestionan en producción. Solicite un presupuesto o una consulta gratuita, sin discursos comerciales.
Guías, comparativas e investigación
Profundice en Kafka
Guías
2Comparativas
9- NATS vs Kafka en 2026: comparativa de Core NATS, JetStream y Kafka
- Mosquitto vs Kafka: ¿broker MQTT o log de eventos?
- Kafka vs Kinesis: comparativa
- Mejores proveedores de Kafka gestionado en 2026, más allá de los hiperescaladores
- Comparativa de opciones de Kafka BYOC (en su propia nube)
- Alternativas a Confluent y competidores tras la adquisición por IBM

