Descripción general
American National Insurance necesitaba CDC (captura de datos de cambios) desde SQL Server y valoró Kafka para ello. Se consideró que Kafka era demasiado complejo de operar para este caso de uso, así que AceMQ diseñó una arquitectura con Debezium Server autónomo que publica directamente en RabbitMQ, que el equipo ya tenía en funcionamiento.
Reto
Un pipeline de CDC basado en Kafka habría supuesto operar clústeres de Kafka y Kafka Connect para un caso de uso que no necesitaba las capacidades principales de Kafka. Esa carga operativa era desproporcionada respecto al volumen de datos y a los requisitos de enrutamiento.
Entorno
Bases de datos SQL Server; entorno de RabbitMQ existente; despliegue en Kubernetes; aseguradora con requisitos de cumplimiento normativo.
Enfoque
AceMQ analizó los requisitos de CDC y diseñó un despliegue de conectores de Debezium autónomos que publica los eventos de cambio directamente en exchanges de RabbitMQ. Así se evitó depender de un clúster de Kafka, se cubrió la captura de cambios y se añadió un enrutamiento de mensajes más flexible gracias al modelo de exchanges y bindings de RabbitMQ.
Solución
- Evaluación de Kafka frente a un diseño de Debezium autónomo para el caso de uso de CDC
- Diseño de un despliegue de Debezium autónomo que publica directamente en RabbitMQ
- Configuración del CDC de SQL Server y ajuste de los conectores
- Diseño de exchanges y bindings de RabbitMQ para el enrutamiento de los eventos de cambio
- Plan de implantación del despliegue de Debezium Server en Kubernetes
Resultado final
American National Insurance obtuvo la captura de cambios de SQL Server sin asumir la carga operativa de Kafka, con un enrutamiento de mensajes flexible a través del entorno de RabbitMQ que ya tenía en funcionamiento.