BlogKafka

Semántica exactly-once en Kafka: cómo funciona y sus límites

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 8 min de lectura

Semántica exactly-once en Kafka: cómo funciona y sus límites
En esta página

# Semántica exactly-once en Kafka: cómo funciona y dónde termina

La semántica exactly-once (EOS) de Kafka es un conjunto de garantías que hace que cada registro llegue al log y haga avanzar la posición de su consumidor una sola vez, aunque los productores reintenten, los brokers fallen o una aplicación se reinicie. Apache Kafka la implementa con dos mecanismos: un productor idempotente que descarta una escritura duplicada mediante un ID de productor único y un número de secuencia por partición, y transacciones que convierten las escrituras en varios topics más el commit de offsets en una única unidad atómica. Es la garantía de entrega más sólida que ofrece la plataforma, y es real, pero se cumple dentro de Kafka, no en una base de datos externa, un almacén de objetos o un servicio de terceros en el que usted escriba, y ahí es donde la mayoría de los equipos se llevan el disgusto.

¿Es realmente posible la semántica exactly-once en Kafka?

Sí. La versión 0.11 introdujo la semántica exactly-once en 2017, y Confluent defendió entonces que esta semántica de mensajes es posible en un sistema de mensajería real, no solo en teoría. El matiz es de definición: ningún sistema distribuido puede prometer que una entrega por red ocurra una sola vez, porque el emisor no puede distinguir una petición perdida de una confirmación (ack) perdida. Lo que Kafka ofrece es procesamiento exactly-once: los fallos siguen provocando intentos repetidos, pero el log descarta las repeticiones y confirma sus efectos de forma atómica, de modo que el resultado coincide con un mundo en el que cada mensaje hubiera llegado una sola vez.

Las tres garantías de entrega y cuál es la predeterminada

Todo sistema de mensajería ofrece tres semánticas de entrega de mensajes.

  • Entrega at-most-once. Sin reintentos del productor; el consumidor hace commit antes de procesar. Rápida, nunca duplicada, y cualquier fallo implica pérdida de datos.
  • Semántica at-least-once. El productor reenvía; el consumidor hace commit después de procesar. No se pierde nada, pero puede haber duplicados: es el valor predeterminado en la práctica.
  • Exactly-once. Las repeticiones se descartan y el commit es atómico con la salida.

Desde Kafka 3.0, el productor Java viene con enable.idempotence=true y acks=all, así que un productor estándar ya suprime los duplicados por reintento. De extremo a extremo sigue siendo at-least-once: sin transacciones y un consumidor read_committed, una caída entre el procesamiento y el commit provoca el replay de registros.

Por qué exactly-once es un problema difícil

Hay que resolver a la vez cuatro modos de fallo, todos clásicos en sistemas distribuidos. Un productor que reenvía tras perder una confirmación (ack) añade el mismo registro dos veces. Un consumidor que cae después de procesar pero antes de hacer commit vuelve a procesar al recuperarse. Una tarea que escribe resultados y confirma su posición mueve dos piezas de estado independientes que deben aplicarse juntas o no aplicarse. Y una instancia zombi, aislada pero aún en ejecución, sigue escribiendo en un stream del que ya se ha hecho cargo su sustituta.

Los componentes que utiliza Kafka

Lo que Kafka garantiza se apoya en cinco componentes: la capa de idempotencia del productor; un transactional.id estable; un coordinador de transacciones en el broker; el topic interno __transaction_state, junto con los marcadores de commit y abort escritos en cada partición de datos; y la opción isolation.level=read_committed en el consumidor.

¿Cómo eliminan los duplicados los productores idempotentes?

Configure enable.idempotence=true y el broker asignará a ese productor un ID de productor único. Cada lote lleva el ID y un contador que crece de forma monótona dentro de un topic. El broker recuerda el valor más alto que ha aceptado, de modo que un lote reenviado que llega tras perderse un ack se reconoce como repetición, se descarta y se confirma como correcto: una escritura, un registro en el log.

Esto cubre solo los reintentos del productor dentro de una misma sesión. Si reinicia el proceso, obtiene un nuevo ID de productor, por lo que las escrituras anteriores a la caída no se pueden casar; eso es precisamente lo que resuelve transactional.id.

Cómo colaboran los productores y consumidores transaccionales

Un productor transaccional define un transactional.id estable y único y sigue una secuencia fija de llamadas: initTransactions() al arrancar, luego beginTransaction(), las llamadas a send() y commitTransaction() o abortTransaction().

initTransactions() se registra en el coordinador de transacciones, incrementa la epoch del productor para bloquear (fencing) cualquier instancia anterior con la misma identidad y resuelve el trabajo pendiente, lo que hace segura la recuperación. Al hacer commit, el coordinador registra el resultado en __transaction_state y después escribe marcadores en todos los topics implicados, lo que proporciona escrituras atómicas en varias particiones.

Exactly-once es un contrato entre productor y consumidor, y nada de ello llega al lado de lectura a menos que configure isolation.level=read_committed. El valor predeterminado, read_uncommitted, devuelve registros revertidos y anula el diseño; un consumidor read_committed omite los datos abortados y no lee más allá del último offset estable.

El patrón consume-transform-produce

La mayor parte del procesamiento exactly-once en producción es un bucle consume-transform-produce: leer un topic de entrada de Kafka, transformar, escribir en un topic de salida y confirmar la posición de entrada. El commit debe ir dentro de la transacción. Desactive enable.auto.commit y pase los offsets consumidos a sendOffsetsToTransaction(), para que resultados y posiciones se confirmen o fallen como una sola unidad.

Una aplicación de procesamiento de streams basada en la API de Kafka Streams lo obtiene sin esfuerzo: configure processing.guarantee=exactly_once_v2 y el framework se encarga de ello, incluidos los state stores que mantiene para joins y agregaciones sobre streams de datos. La implementación v2 usa un productor por instancia, con fencing a través de los metadatos del grupo de consumidores (consumer group), en lugar del modelo original de uno por tarea; por eso exactly-once resulta lo bastante barato como para dejarlo activado en cualquier aplicación de streams.

Dónde termina la garantía

Esta es la parte que otros artículos difuminan. Una transacción de Kafka cubre el log y los offsets de consumidor confirmados con ella. Nada más. Si su consumidor escribe en Postgres, S3 o una pasarela de pagos, esa escritura no forma parte de la transacción, y una caída entre medias produce una doble escritura aguas abajo aunque el estado del propio broker sea perfecto. Por tanto, exactly-once de extremo a extremo requiere que el sink colabore:

  • Haga que el sink sea idempotente. Upsert sobre una clave natural, o escritura en una ruta de objeto determinista: la respuesta más sencilla y duradera.
  • Guarde las posiciones en el sink. Confirme datos y offset en una única transacción externa y, al recuperarse, haga seek desde ese valor.
  • Use un conector que participe. Kafka Connect admite entrega exactly-once en conectores source y en sinks que implementan commit en dos fases: verifíquelo conector a conector.

Los efectos secundarios fuera del ámbito del commit, como enviar un correo o cobrar una tarjeta, nunca pueden quedar cubiertos; deduplíquelos en la frontera con una clave de idempotencia. Si un pipeline emite repeticiones que no sabe explicar, el soporte de Kafka 24/7 de AceMQ asigna a un ingeniero sénior con objetivos de respuesta desde 15 minutos, según el plan.

Impacto en el rendimiento y contrapartidas

La idempotencia es prácticamente gratuita y ya viene activada por defecto. Usar transacciones de Kafka cuesta más: los registros solo son visibles para los consumidores read_committed una vez escritos los marcadores, por lo que la latencia queda acotada aproximadamente por su intervalo de commit; por eso Kafka Streams reduce commit.interval.ms a 100ms con EOS. La sobrecarga se mantiene moderada cuando un commit abarca un lote razonable de mensajes transaccionales, y se dispara cuando abarca muy pocos.

Una transacción colgada es el riesgo más serio: fija el último offset estable y bloquea a todos los consumidores read_committed de esa partición hasta que vence transaction.timeout.ms. Los equipos que usan Kafka para libros contables o facturación consideran que merece la pena; para analítica, at-least-once más un sink que haga upsert es más sencillo y más barato.

Cómo comprobar si exactly-once funciona de verdad

Una configuración que parece correcta en un fichero de propiedades no es una prueba. Cuatro comprobaciones detectan la mayoría de los problemas.

  • isolation.level en cada consumidor del topic de salida. El valor predeterminado es read_uncommitted, así que basta un servicio aguas abajo sin adaptar para que lea en silencio registros revertidos: es, con diferencia, el error de configuración más habitual.
  • Un transactional.id estable que sobreviva a los reinicios. Una identidad derivada del hostname de un contenedor cambia en cada despliegue y no puede bloquear a su propio zombi.
  • El lag de los consumidores read_committed. Una partición cuyo lag deja de bajar mientras el log sigue creciendo suele indicar una transacción que nunca se confirmó ni se abortó.
  • Un productor detenido a mitad de transacción en un entorno de pruebas. Confirme que nada del intento abortado llega al topic de salida; producción no es el mejor sitio para probar ese camino por primera vez.

Decidir lograr exactly-once es una decisión de diseño; mantener la semántica exactly-once a lo largo de actualizaciones, rebalanceos y failovers del coordinador es un problema de operaciones. Los más de 11 SME sénior de AceMQ dan soporte a más de 160 clientes empresariales en más de 26 países. Descubra los servicios empresariales de Kafka de AceMQ para tener esa frontera bien definida antes de que le cueste una conciliación.

Si la pregunta detrás de este artículo es de arquitectura y no un incidente en curso (estrategia de particiones, dimensionamiento, diseño de seguridad, una migración), la consultoría de Kafka de AceMQ asigna a un ingeniero sénior. Si su equipo opera el clúster y quiere tenerlo cubierto cuando falle, el contrato adecuado es el soporte de Kafka 24/7.

Este es el quinto de los diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que surgen en un entorno de producción.

Preguntas frecuentes

¿Es posible la semántica exactly-once en Kafka?

Sí. Apache Kafka admite la semántica exactly-once desde la versión 0.11, publicada en 2017. Se implementa como procesamiento exactamente una vez y no como entrega exactamente una vez a través de la red: los registros pueden transmitirse más de una vez, pero el broker descarta las repeticiones y confirma los resultados de forma atómica, de modo que el resultado equivale a una única entrega. La garantía se aplica a los datos escritos en topics de Kafka y a las posiciones de consumo confirmadas en la misma transacción. Cualquier sistema externo en el que escriba su aplicación debe aportar su propia protección contra repeticiones.

¿Cómo habilito la entrega exactly-once en Kafka?

Hay que configurar tres cosas a la vez. En el productor, defina enable.idempotence=true y un transactional.id estable y único, y luego envuelva los envíos con initTransactions(), beginTransaction() y commitTransaction(). En el consumidor, desactive el auto-commit y defina isolation.level=read_committed; después pase las posiciones consumidas a sendOffsetsToTransaction() para que se confirmen de forma atómica junto con sus resultados. Si usa Kafka Streams, processing.guarantee=exactly_once_v2 hace todo esto por usted.

¿Kafka es at-least-once de forma predeterminada?

En la práctica, sí. Un productor de Kafka moderno usa por defecto enable.idempotence=true y acks=all, lo que suprime las repeticiones causadas por reintentos del productor, pero los consumidores siguen confirmando su posición por separado del procesamiento que realizan. Una caída entre el tratamiento de un registro y la confirmación hace que ese registro se vuelva a procesar durante la recuperación, lo cual es semántica de entrega at-least-once (al menos una vez). Para llegar a exactly-once se necesitan transacciones en el productor y aislamiento read_committed en el consumidor.

¿Qué es el patrón consume-transform-produce en Kafka?

Consume-transform-produce es el ciclo estándar de exactly-once: una aplicación lee registros de un topic de entrada, los transforma, escribe los resultados en un topic de salida y confirma la posición de entrada. La propiedad exactly-once proviene de confirmar esa posición dentro de la misma transacción que los resultados, mediante sendOffsetsToTransaction(). Si la confirmación se revierte, ni los registros escritos ni el avance de la posición se vuelven visibles, así que el trabajo se repite de forma limpia. Kafka Streams implementa este patrón internamente cuando exactly-once está habilitado.

¿Cuánto afecta al rendimiento usar transacciones en Kafka?

La idempotencia apenas añade sobrecarga medible y viene activada por defecto. Las transacciones añaden latencia, porque los registros solo son visibles para los consumidores read_committed después de que se escriben los marcadores de confirmación, así que el throughput depende mucho de cuánto trabajo cubre cada confirmación. Los lotes grandes amortizan bien ese coste y normalmente sacrifican un porcentaje modesto de throughput, mientras que los muy pequeños pueden ser drásticamente más lentos. El mayor riesgo operativo es una confirmación atascada que bloquea a los consumidores posteriores hasta que vence su tiempo de espera.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos