Descripción general
La mayoría de los despliegues de Airbyte empiezan como la instalación con Helm de alguien y acaban moviendo datos de producción. Lo que separa ambos estados es el aislamiento de recursos, la gestión de credenciales, la copia de seguridad de la base de datos interna y una ruta de recuperación probada.
Reto
La plataforma funcionaba con las peticiones de recursos por defecto, con las credenciales de los orígenes guardadas en la configuración en texto plano y sin copia de seguridad de la base de datos interna de Airbyte que contiene el estado de las conexiones. Un solo desalojo de nodo podía tumbar las sincronizaciones en curso, y perder la base de datos interna habría supuesto volver a registrar todas las conexiones y releer todos los orígenes desde cero.
Entorno
Airbyte en un clúster de Kubernetes gestionado, con PostgreSQL como base de datos interna, orígenes que abarcan sistemas de core bancario y plataformas SaaS, y requisitos de auditoría interna.
Enfoque
AceMQ trabajó con el equipo de plataforma para definir clases de recursos para los pods de sincronización, trasladar las credenciales a un gestor de secretos externo y someter la base de datos interna a un ciclo probado de copia de seguridad y restauración. También separamos las cargas de trabajo para que una sincronización pesada no pueda dejar sin recursos al scheduler.
Solución
- Definición de peticiones y límites de recursos por conexión para que las sincronizaciones grandes no puedan desalojar el plano de control
- Traslado de las credenciales de orígenes y destinos a un gestor de secretos externo con procedimientos de rotación
- Copia de seguridad y restauración probada de la base de datos interna de Airbyte que contiene el estado de las conexiones
- Separación de las cargas de sincronización en node pools dedicados con las tolerations adecuadas
- Redacción de runbooks para actualizaciones de conectores, jobs bloqueados y recuperación completa del clúster
- Métricas y alertas sobre la duración de los jobs, la tasa de fallos y la frescura de los datos en destino
Resultado final
El despliegue superó una prueba deliberada de drenado de nodos con las sincronizaciones reanudándose desde su estado, y el equipo pasó a disponer de procedimientos de recuperación documentados que podía enseñar a los auditores en lugar de describirlos de memoria.