Descripción general
La mayoría de los despliegues de Airbyte empiezan como la instalación con Helm de alguien y terminan moviendo datos de producción. Lo que separa ambos estados es el aislamiento de recursos, el manejo de credenciales, el respaldo de la base de datos interna y una ruta de recuperación probada.
Desafío
La plataforma funcionaba con las resource requests predeterminadas, las credenciales de los orígenes guardadas en la configuración en texto plano y sin respaldo de la base de datos interna de Airbyte, que guarda el estado de las conexiones. Un solo desalojo de un nodo podía interrumpir las sincronizaciones en curso, y perder la base de datos interna habría implicado volver a registrar todas las conexiones y volver a leer cada origen desde cero.
Entorno
Airbyte en un clúster de Kubernetes administrado, con PostgreSQL como base de datos interna y orígenes que abarcan sistemas core bancarios y plataformas SaaS, bajo requisitos de auditoría interna.
Enfoque
AceMQ trabajó con el equipo de plataforma para definir clases de recursos para los pods de sincronización, trasladar las credenciales a un gestor de secretos externo y someter la base de datos interna a un ciclo probado de respaldo y restauración. También separamos las cargas de trabajo para que una sincronización pesada no pueda dejar sin recursos al scheduler.
Solución
- Definición de resource requests y limits por conexión para que las sincronizaciones grandes no puedan desalojar el plano de control
- Traslado de las credenciales de orígenes y destinos a un gestor de secretos externo, con procedimientos de rotación
- Respaldo y restauración probada de la base de datos interna de Airbyte que guarda el estado de las conexiones
- Distribución de las cargas de sincronización en node pools dedicados con las tolerations adecuadas
- Redacción de runbooks para actualizaciones de conectores, jobs atascados y recuperación del clúster completo
- Incorporación de métricas y alertas sobre la duración de los jobs, la tasa de fallas y la frescura de los datos en los destinos
Resultado final
El despliegue superó una prueba deliberada de drenaje de nodos, con las sincronizaciones reanudándose desde su estado, y el equipo contó con procedimientos de recuperación documentados que podía mostrar a los auditores en lugar de describirlos de memoria.