Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Convertir una instalación de Airbyte que funciona en una que pueda operar bajo auditoría

Grupo bancario regional

Paso de una instalación de Airbyte de prueba de concepto a un despliegue apto para producción, con aislamiento adecuado, manejo de secretos, límites de recursos y procedimientos de recuperación.

Descripción general

La mayoría de los despliegues de Airbyte empiezan como la instalación con Helm de alguien y terminan moviendo datos de producción. Lo que separa ambos estados es el aislamiento de recursos, el manejo de credenciales, el respaldo de la base de datos interna y una ruta de recuperación probada.

Desafío

La plataforma funcionaba con las resource requests predeterminadas, las credenciales de los orígenes guardadas en la configuración en texto plano y sin respaldo de la base de datos interna de Airbyte, que guarda el estado de las conexiones. Un solo desalojo de un nodo podía interrumpir las sincronizaciones en curso, y perder la base de datos interna habría implicado volver a registrar todas las conexiones y volver a leer cada origen desde cero.

Entorno

Airbyte en un clúster de Kubernetes administrado, con PostgreSQL como base de datos interna y orígenes que abarcan sistemas core bancarios y plataformas SaaS, bajo requisitos de auditoría interna.

Enfoque

AceMQ trabajó con el equipo de plataforma para definir clases de recursos para los pods de sincronización, trasladar las credenciales a un gestor de secretos externo y someter la base de datos interna a un ciclo probado de respaldo y restauración. También separamos las cargas de trabajo para que una sincronización pesada no pueda dejar sin recursos al scheduler.

Solución

  1. Definición de resource requests y limits por conexión para que las sincronizaciones grandes no puedan desalojar el plano de control
  2. Traslado de las credenciales de orígenes y destinos a un gestor de secretos externo, con procedimientos de rotación
  3. Respaldo y restauración probada de la base de datos interna de Airbyte que guarda el estado de las conexiones
  4. Distribución de las cargas de sincronización en node pools dedicados con las tolerations adecuadas
  5. Redacción de runbooks para actualizaciones de conectores, jobs atascados y recuperación del clúster completo
  6. Incorporación de métricas y alertas sobre la duración de los jobs, la tasa de fallas y la frescura de los datos en los destinos

Resultado final

El despliegue superó una prueba deliberada de drenaje de nodos, con las sincronizaciones reanudándose desde su estado, y el equipo contó con procedimientos de recuperación documentados que podía mostrar a los auditores en lugar de describirlos de memoria.

Tecnologías

AirbyteKubernetesPostgreSQLDocker

¿Necesita orientación de arquitectura para Airbyte?

Los ingenieros sénior de Airbyte de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.