BlogKafka

Recuperación ante desastres en Kafka: estrategias multirregión, arquitecturas y compromisos de RPO/RTO

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 10 min de lectura

Recuperación ante desastres en Kafka: estrategias multirregión, arquitecturas y compromisos de RPO/RTO
On this page

Para implementar la recuperación ante desastres en Kafka, se despliega un segundo clúster de Kafka en un dominio de falla independiente (otra región u otro centro de datos), se replican de forma continua hacia él los tópicos y los offsets de los grupos de consumidores con herramientas como Kafka MirrorMaker 2, Confluent Replicator o AWS MSK Replicator, y se mantiene un runbook de failover probado que redirige a los productores y consumidores al clúster de destino. La arquitectura que elija (activo-pasivo, activo-activo o un stretch cluster) la determinan dos números: su objetivo de punto de recuperación (cuánta pérdida de datos puede tolerar) y su objetivo de tiempo de recuperación (con qué rapidez debe restablecer el servicio). Todo lo demás en un plan de recuperación ante desastres de Kafka se desprende de esos dos requisitos del negocio.

Esta guía recorre las principales arquitecturas de recuperación ante desastres con Kafka, los compromisos entre ellas y las trampas operativas (sobre todo la traducción de offsets) que separan un plan que se ve bien en el papel de uno que realmente sobrevive a un escenario de desastre.

Por qué un solo clúster de Kafka no es una estrategia de DR

A menudo se describe a Apache Kafka como tolerante a fallas, y dentro de un solo clúster eso es cierto. Con un factor de replicación de 3, Kafka distribuye los datos de las particiones entre varios brokers, de modo que la pérdida de uno o dos brokers dentro de un clúster no provoca pérdida de datos. La elección de líder promueve automáticamente las réplicas sincronizadas, y un despliegue bien configurado absorbe sin problemas las fallas rutinarias de los brokers.

Pero la replicación integrada lo protege dentro de un solo dominio de falla. Un único clúster, incluso uno que abarque varios racks, vive en una región, en una red y dentro de un mismo radio de impacto administrativo. No lo protege de la pérdida de una región completa, de un tópico borrado por error, de un cambio de ACL equivocado, de un quórum de KRaft corrupto ni de una interrupción del proveedor de nube. La alta disponibilidad y la recuperación ante desastres son disciplinas distintas: la HA mantiene el clúster en funcionamiento ante fallas de componentes; la DR restablece el servicio de Kafka después de que todo el entorno desapareció.

Para los equipos que ejecutan pipelines de datos en tiempo real de los que depende el negocio, esa distinción es la base de la planificación de la continuidad del negocio. Si Kafka es la columna vertebral de los pagos, la logística o la detección de fraude, un tiempo de inactividad que se mide en horas no es un resultado aceptable, y tampoco lo es descartar eventos en silencio.

Empiece por el RPO y el RTO, no por las herramientas

Antes de comparar herramientas de replicación, defina dos números con el negocio:

  • Objetivo de punto de recuperación (RPO): la pérdida de datos máxima aceptable, medida en tiempo. Un RPO de cinco minutos significa que puede perder hasta cinco minutos de datos de Kafka en un desastre.
  • Objetivo de tiempo de recuperación (RTO): el tiempo máximo aceptable para restablecer el servicio. Un RTO de 30 minutos significa que los consumidores y los productores deben volver a funcionar en un plazo de media hora.

Estos objetivos determinan el costo. La replicación asíncrona entre regiones le da un RPO igual a su retraso de replicación (normalmente de segundos a minutos) a un costo moderado. Lograr un RPO de cero, es decir, un failover sin pérdida de datos, requiere replicación síncrona, lo que implica pagar una penalización de latencia en cada solicitud de producción y ejecutar infraestructura en varias zonas de disponibilidad con enlaces rápidos. El tiempo de recuperación que puede lograr depende menos de las herramientas y más de qué tan automatizado y ensayado esté su procedimiento de failover.

Sea realista con cada carga de trabajo. Un clúster que transporta analítica de clickstream puede tolerar un punto de recuperación más laxo que uno que transporta transacciones financieras. Muchos equipos terminan con planes de recuperación por niveles: RPO/RTO estrictos para un pequeño conjunto de tópicos críticos y objetivos más flexibles para todo lo demás.

Arquitecturas de recuperación ante desastres de Kafka

Hay cuatro patrones muy utilizados para la recuperación ante desastres de Apache Kafka®. La mayoría de los despliegues en producción usan uno de los dos primeros.

Activo-pasivo con MirrorMaker 2

La estrategia más común de DR para Kafka es un par activo-pasivo: un clúster primario atiende todo el tráfico mientras MirrorMaker 2 (MM2), que se incluye con Apache Kafka y se ejecuta sobre el framework Kafka Connect, replica de forma asíncrona los tópicos, las configuraciones y los offsets de los consumidores hacia un clúster en standby en otra región o centro de datos.

Durante la operación normal, el clúster pasivo recibe los datos replicados, pero no atiende a ningún cliente. En un escenario de desastre se hace el failover: se apuntan los productores y consumidores al standby, se lo promueve a primario y se continúa. El RPO es igual al retraso de replicación; el RTO depende de la rapidez con que se puedan redirigir los clientes y, con direcciones de bootstrap basadas en DNS y una automatización ensayada, puede ser de minutos.

El modelo activo-pasivo es popular porque es conceptualmente simple, funciona con herramientas de código abierto y mantiene bajo el costo del clúster en standby (puede ser más pequeño hasta que se lo promueve). Sus debilidades son asimétricas: el failback una vez que pasa el desastre suele ser más difícil que el failover, y una sincronización de offsets no probada puede romper en silencio la reanudación de los consumidores (más sobre esto a continuación).

Kafka activo-activo

En una topología de Kafka activo-activo, dos (o más) clústeres en distintas regiones atienden tráfico en vivo y cada uno replica hacia el otro, normalmente con MM2 o Confluent Cluster Linking. Los clientes de cada región producen y consumen localmente, lo que reduce la latencia entre regiones para usuarios distribuidos geográficamente y hace que el failover sea, en gran medida, un ejercicio de enrutamiento del tráfico: si una región cae, la otra ya está en vivo.

El costo es la complejidad. Kafka multirregión en modo activo-activo exige un nombrado cuidadoso de los tópicos (MM2 antepone a los tópicos replicados el alias del clúster de origen para evitar bucles de replicación infinitos), aplicaciones que toleren la consistencia eventual entre regiones y una estrategia para evitar el procesamiento duplicado cuando un grupo de consumidores se traslada. No hay un orden global entre regiones. Para el caso de uso adecuado (cargas de trabajo siempre activas y distribuidas geográficamente), el modelo activo-activo ofrece el mejor RTO disponible. Para un producto de una sola región, suele ser un exceso de ingeniería.

Stretch clusters

Un stretch cluster es un único despliegue de Kafka cuyos brokers abarcan varios centros de datos o zonas de disponibilidad y que usa replicación síncrona (acks=all con min.insync.replicas aplicado entre sitios), de modo que cada escritura llega al menos a dos ubicaciones antes de confirmarse. Si se pierde un sitio entero, el clúster sigue funcionando: sin evento de failover, sin traducción de offsets y con un RPO de cero.

El problema son la física y el costo. Cada solicitud de producción paga la latencia de ida y vuelta entre sitios, así que los stretch clusters solo son prácticos entre sitios con enlaces de baja latencia (normalmente por debajo de unos 50 ms, idealmente zonas de disponibilidad dentro de una misma región, con diseños 2.5DC/3DC para la ubicación del quórum). Contra lo que indica la intuición, un stretch cluster no siempre es más caro que el espejado, ya que se ejecuta un clúster en lugar de dos, pero no protege contra desastres regionales cuando todos los sitios comparten región, y nunca protege contra errores de los operadores, que se replican al instante en todos los sitios.

Backup y restauración en almacenamiento de objetos

La replicación de clústeres no reemplaza a los backups. La replicación copia fielmente los errores: un tópico borrado o datos envenenados (poison pill) se espejan en su sitio de DR en cuestión de segundos. Tomar periódicamente snapshots de los tópicos críticos en almacenamiento de objetos (mediante sinks S3 de Kafka Connect o almacenamiento por niveles) le da una recuperación a un punto en el tiempo que la replicación no puede ofrecer, a cambio de una restauración mucho más lenta. Trátelo como un complemento, no como un sustituto, de un standby activo.

Comparación de arquitecturas de DR para Kafka

Arquitectura RPO típico RTO típico Costo relativo Complejidad Ideal para
Activo-pasivo (MM2) Segundos–minutos (retraso asíncrono) Minutos–horas $$ Moderada La mayoría de las cargas de trabajo empresariales
Activo-activo Segundos (por región) Segundos–minutos $$$ Alta Sistemas siempre activos y distribuidos geográficamente
Stretch cluster Cero Casi cero (automático) $$–$$$ Moderada–alta Sitios de baja latencia, mandatos de cero pérdida de datos
Backup/restauración Horas (intervalo de snapshots) Horas $ Baja Cumplimiento normativo, recuperación ante errores de operadores

¿Ejecuta Kafka en producción sin un plan de failover ensayado? Los ingenieros sénior de AceMQ diseñan, implementan y ponen a prueba en condiciones reales la recuperación ante desastres de Kafka y, cuando algo se rompe a las 3 de la mañana, nuestro equipo de soporte 24/7 trabaja con objetivos de respuesta desde 15 minutos, según el plan. Hable con un ingeniero de Kafka.

El problema de la traducción de offsets (donde realmente fallan los planes de DR)

El modo de falla más sutil en la recuperación ante desastres de Kafka no es perder datos, sino que los consumidores se reanuden en el lugar equivocado. Los offsets son específicos de cada clúster: el offset 1,000,000 en el primario no es el offset 1,000,000 en el clúster de destino, porque la replicación empieza en momentos distintos, la retención elimina rangos distintos y la compactación reescribe los logs de manera diferente.

MirrorMaker 2 lo resuelve con checkpoints: el MirrorCheckpointConnector emite periódicamente hacia el destino los offsets traducidos de los grupos de consumidores y, desde Kafka 2.7, puede sincronizarlos directamente en el tópico __consumer_offsets del destino. Pero hay trampas que muerden en los failovers reales:

  • Granularidad de los checkpoints. La sincronización de offsets es periódica (por defecto, cada 60 segundos). Un consumidor que hace failover llega al último checkpoint, no al último registro consumido: cuente con reprocesamiento y haga que los consumidores sean idempotentes.
  • La traducción va detrás de la replicación. MM2 solo puede traducir un offset una vez que el registro correspondiente se replicó. Si el retraso de replicación se dispara durante la interrupción que provoca el failover, los offsets traducidos quedan todavía más atrasados.
  • Los grupos deben estar inactivos para sincronizarse. MM2 no sobrescribe los offsets de los grupos de consumidores que están conectados activamente al clúster de destino, algo que sorprende a los equipos que prueban el failover con consumidores en vivo en ambos lados.
  • Calle de un solo sentido. Los checkpoints fluyen del origen al destino. Volver al primario original después de una recuperación exitosa requiere replicación inversa y su propia pasada de traducción de offsets: planifique y pruebe el failback de forma explícita.
  • Los procesadores de streams llevan estado adicional. Los jobs de Kafka Streams y de Apache Flink mantienen estado interno (tópicos changelog, checkpoints/savepoints de Flink) que debe recuperarse de forma consistente, no solo los datos de los tópicos.

Si no puede decir con precisión dónde se reanudará cada grupo de consumidores después del failover, todavía no tiene un plan de recuperación ante desastres: tiene un pipeline de replicación.

Cómo construir y probar un plan de recuperación ante desastres de Kafka

Un plan de recuperación ante desastres viable para un entorno de Kafka cubre cinco aspectos:

  1. Alcance y objetivos. Qué tópicos, qué grupos de consumidores y qué RPO/RTO por nivel, aprobados por el negocio y no solo por el equipo de plataforma.
  2. Configuración de la replicación. Cómo configura MM2 o la replicación del servicio de Kafka que haya elegido: filtros de tópicos, intervalos de sincronización de offsets, replicación de ACL y de esquemas (no se olvide de Schema Registry: los consumidores del sitio de DR necesitan los esquemas) y monitoreo del retraso de replicación con umbrales de alerta vinculados a su RPO.
  3. Runbook de failover. Procedimientos de recuperación exactos y ejecutables: quién decide, cómo se redirigen los clientes (DNS, service discovery, envío de configuración), cómo se verifican los offsets y cómo se confirma que la recuperación fue exitosa.
  4. Runbook de failback. Cómo vuelven a fluir los cambios replicados y cómo se regresa al estado estable sin pérdida de datos ni tormentas de duplicados.
  5. Un calendario de pruebas. Game days trimestrales como mínimo. Simule fallas de brokers, elimine una zona de disponibilidad y luego ensaye un failover regional completo en staging con tráfico similar al de producción. Mida el RTO que realmente logra y actualice la documentación cada vez que la realidad no coincida con el plan.

La DR que no se prueba falla. Todo operador de Kafka con experiencia ha visto un pipeline de espejado que funcionó tranquilamente durante un año mientras omitía en silencio un filtro de tópicos mal configurado, algo que solo se descubrió durante la interrupción real.

Kafka administrado y recuperación ante desastres en la nube

Las plataformas administradas cambian la mecánica, pero no la responsabilidad. En AWS, MSK Replicator ofrece replicación administrada entre regiones para MSK, mientras que MirrorMaker 2 sigue siendo la herramienta preferida para topologías híbridas y con varias cuentas. Confluent ofrece Cluster Linking, que replica los datos hacia un clúster de Confluent Cloud conservando los offsets byte por byte (lo que elimina el problema de la traducción de offsets), y las opciones multirregión de Confluent Cloud pueden automatizar gran parte del failover. Son capacidades realmente útiles, pero todas siguen exigiendo que usted defina el RPO/RTO, configure la redirección de los clientes y ensaye el runbook. La replicación administrada no es recuperación administrada.

Si lo que hay detrás de este artículo es una cuestión de arquitectura y no un incidente en curso (estrategia de particiones, dimensionamiento, diseño de seguridad, una migración), la consultoría de Kafka de AceMQ pone a un ingeniero sénior asignado a trabajar en ello.

Este es el paso ocho de diez de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que surgen en un entorno de producción.

Preguntas frecuentes

¿Cuál es la estrategia de recuperación ante desastres más común para clústeres de Kafka?

El enfoque más común es la replicación de clústeres activo-pasivo con MirrorMaker 2: un espejo asíncrono de los tópicos y de los offsets de los consumidores hacia un clúster en standby en otra región, combinado con un procedimiento ensayado de failover de los clientes. Equilibra costo, simplicidad y un RPO/RTO sólido para la mayoría de las cargas de trabajo.

¿La recuperación ante desastres de Kafka puede lograr cero pérdida de datos?

Sí, pero solo con replicación síncrona: un stretch cluster que abarque varias zonas de disponibilidad con acks=all y un min.insync.replicas adecuado, o una función de la plataforma que ofrezca escrituras síncronas entre sitios. Las herramientas asíncronas como Kafka MirrorMaker 2 siempre implican un RPO igual al retraso de replicación, así que con el espejado asíncrono por sí solo no se puede garantizar un failover sin pérdida de datos.

¿Con qué frecuencia deberíamos probar un plan de recuperación ante desastres de Kafka?

Como mínimo cada trimestre, y además después de cualquier cambio relevante en el despliegue de Kafka (actualizaciones de versión, nuevos tópicos críticos, cambios de topología). Una prueba completa incluye un failover regional en un entorno de staging, la verificación del punto desde el que se reanuda cada grupo de consumidores crítico y un RTO medido que se compara con su objetivo.

¿Los stretch clusters no son más caros que el espejado?

No necesariamente. Un stretch cluster es un solo clúster distribuido entre varios sitios, mientras que el espejado exige ejecutar y operar dos clústeres completos más la capa de replicación. Los stretch clusters cuestan más en latencia y en red, y exigen enlaces de alta calidad, pero pueden costar menos en hardware y en operación. Las verdaderas restricciones son el presupuesto de latencia y el hecho de que un stretch cluster dentro de una sola región no sobrevive a la pérdida de toda la región.

¿Qué es MirrorMaker 2 y cómo funciona?

MirrorMaker 2 es la herramienta de replicación entre clústeres que viene incluida con Apache Kafka, definida en la KIP-382 y construida sobre el framework Kafka Connect. Consume desde un clúster de origen y produce hacia un clúster de destino, y replica topics, configuraciones de topics, grupos de consumidores con sus offsets, y ACL. De forma predeterminada, un topic replicado se renombra con el alias del clúster de origen como prefijo, así que orders, de un clúster llamado us-west, pasa a ser us-west.orders en el destino. Esa convención de nombres es lo que hace posibles las configuraciones active-active sin bucles de replicación, y también es la razón por la que los runbooks de failover deben apuntar los consumidores a los topics renombrados.

¿Qué pasa con los offsets de los consumidores durante un failover?

Con MirrorMaker 2, los checkpoints traducen los offsets de los grupos de consumidores del clúster de origen al de destino a intervalos regulares. En un failover, los consumidores se reanudan desde el último checkpoint traducido, normalmente un poco por detrás de su posición real, así que algunos registros se reprocesan. Los consumidores deben ser idempotentes, y los intervalos de sincronización de offsets deben ajustarse por debajo de su RPO. Confluent Cluster Linking evita la traducción por completo porque conserva los offsets byte por byte. --- La recuperación ante desastres de Kafka es una estrategia de resiliencia, no un producto que se instala: elija la arquitectura que se ajuste a su RPO y su RTO, replique los datos con herramientas que entienda, preste muchísima atención al comportamiento de los offsets y pruebe hasta que el failover sea aburrido. No espere a la interrupción para descubrir las brechas. AceMQ ofrece soporte empresarial 24/7 para Kafka de código abierto, con ingenieros sénior de guardia y objetivos de respuesta desde 15 minutos, según el plan: desde revisiones de la arquitectura de DR hasta ser el equipo al que llama cuando una región se apaga. Conozca los servicios de Kafka de AceMQ u obtenga cobertura de soporte 24/7.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior en AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Guías, comparativas e investigación

Profundice en Kafka

Consulta gratuita

Que un experto revise su clúster de Kafka

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos