Panoramica
La maggior parte dei deployment Airbyte nasce come installazione Helm di qualcuno e finisce per gestire lo spostamento di dati di produzione. Tra questi due stati ci sono l'isolamento delle risorse, la gestione delle credenziali, il backup del database interno e un percorso di ripristino collaudato.
Sfida
La piattaforma girava con le resource request predefinite, le credenziali delle sorgenti salvate in chiaro nella configurazione e nessun backup del database interno di Airbyte che conserva lo stato delle connessioni. L'eviction di un singolo nodo poteva interrompere le sync in corso, e la perdita del database interno avrebbe significato registrare di nuovo ogni connessione e rileggere da zero ogni sorgente.
Ambiente
Airbyte su un cluster Kubernetes gestito, database interno PostgreSQL, sorgenti che spaziano dai sistemi core banking alle piattaforme SaaS, in un contesto soggetto ai requisiti di audit interno.
Approccio
AceMQ ha collaborato con il team di piattaforma per definire classi di risorse per i pod di sync, spostare le credenziali in un secrets manager esterno e sottoporre il database interno a un ciclo di backup e restore collaudato. Abbiamo inoltre separato i workload, così che una sync pesante non possa lasciare lo scheduler senza risorse.
Soluzione
- Definite resource request e limit per connessione, così che le sync di grandi dimensioni non possano causare l'eviction del control plane
- Credenziali di sorgenti e destinazioni spostate in un secrets manager esterno, con procedure di rotazione
- Introdotti backup e restore collaudato per il database interno di Airbyte che conserva lo stato delle connessioni
- Workload di sync distribuiti su node pool dedicati con toleration adeguate
- Redatti runbook per upgrade dei connector, job bloccati e ripristino dell'intero cluster
- Aggiunti metriche e alerting su durata dei job, tasso di errore e freschezza dei dati a destinazione
Esito
Il deployment ha superato un test deliberato di drain dei nodi, con le sync riprese dallo stato salvato, e il team dispone ora di procedure di ripristino documentate da mostrare agli auditor invece di doverle descrivere a memoria.