Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Convertir una instalación de Airbyte que funciona en una que se puede operar bajo auditoría

Grupo bancario regional

Paso de una instalación de Airbyte de prueba de concepto a un despliegue de nivel de producción con aislamiento adecuado, gestión de secretos, límites de recursos y procedimientos de recuperación.

Descripción general

La mayoría de los despliegues de Airbyte empiezan como la instalación con Helm de alguien y acaban moviendo datos de producción. Lo que separa ambos estados es el aislamiento de recursos, la gestión de credenciales, la copia de seguridad de la base de datos interna y una ruta de recuperación probada.

Reto

La plataforma funcionaba con las peticiones de recursos por defecto, con las credenciales de los orígenes guardadas en la configuración en texto plano y sin copia de seguridad de la base de datos interna de Airbyte que contiene el estado de las conexiones. Un solo desalojo de nodo podía tumbar las sincronizaciones en curso, y perder la base de datos interna habría supuesto volver a registrar todas las conexiones y releer todos los orígenes desde cero.

Entorno

Airbyte en un clúster de Kubernetes gestionado, con PostgreSQL como base de datos interna, orígenes que abarcan sistemas de core bancario y plataformas SaaS, y requisitos de auditoría interna.

Enfoque

AceMQ trabajó con el equipo de plataforma para definir clases de recursos para los pods de sincronización, trasladar las credenciales a un gestor de secretos externo y someter la base de datos interna a un ciclo probado de copia de seguridad y restauración. También separamos las cargas de trabajo para que una sincronización pesada no pueda dejar sin recursos al scheduler.

Solución

  1. Definición de peticiones y límites de recursos por conexión para que las sincronizaciones grandes no puedan desalojar el plano de control
  2. Traslado de las credenciales de orígenes y destinos a un gestor de secretos externo con procedimientos de rotación
  3. Copia de seguridad y restauración probada de la base de datos interna de Airbyte que contiene el estado de las conexiones
  4. Separación de las cargas de sincronización en node pools dedicados con las tolerations adecuadas
  5. Redacción de runbooks para actualizaciones de conectores, jobs bloqueados y recuperación completa del clúster
  6. Métricas y alertas sobre la duración de los jobs, la tasa de fallos y la frescura de los datos en destino

Resultado final

El despliegue superó una prueba deliberada de drenado de nodos con las sincronizaciones reanudándose desde su estado, y el equipo pasó a disponer de procedimientos de recuperación documentados que podía enseñar a los auditores en lugar de describirlos de memoria.

Tecnologías

AirbyteKubernetesPostgreSQLDocker

¿Necesita asesoramiento de arquitectura para Airbyte?

Los ingenieros sénior de Airbyte de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.