Panoramica
I parchi Airbyte tendono ad accumularsi. Le connessioni vengono aggiunte rapidamente perché è facile farlo, e dopo un anno nessuno sa dire quali connector siano fermi a versioni vecchie, quali stream siano in full refresh senza motivo o quali pipeline non vengano consumate da nulla a valle.
Sfida
Il team della data platform gestiva oltre cento connessioni distribuite su diversi workspace. Le versioni dei connector erano molto eterogenee, i connector personalizzati erano stati sviluppati da persone che nel frattempo avevano lasciato l'azienda e non esisteva uno schema coerente per primary key, deduplicazione o gestione dei dead-letter. Nessuno era in grado di stimare il raggio d'impatto di un upgrade dei connector.
Ambiente
Airbyte self-hosted su Kubernetes, con un mix di connector certificati, della community e sviluppati internamente che alimentano un data warehouse in cloud.
Approccio
AceMQ ha censito ogni connessione tramite l'API di Airbyte e ha associato ciascuno stream ai relativi consumer a valle, quindi ha valutato le connessioni in base ad aggiornamento della versione, adeguatezza del sync mode, affidabilità dello stato e osservabilità. Il risultato è stato un backlog di remediation ordinato per priorità anziché un generico punteggio di maturità.
Soluzione
- Inventario completo di workspace, connessioni, stream e versioni dei connector tramite l'API di Airbyte
- Ciascuno stream associato ai modelli del warehouse a valle per individuare pipeline inutilizzate e orfane
- Segnalati gli stream in cui il sync mode scelto non corrisponde alle caratteristiche di modifica della tabella
- Revisione del codice dei connector personalizzati per individuare lacune nella gestione di retry, paginazione e rate limit
- Fornito un backlog con priorità, stime dell'impegno e un piano di sequenziamento degli upgrade
Esito
Il team ha dismesso una quota significativa di connessioni che non alimentavano nulla, ha consolidato le versioni dei connector su una baseline supportata e ha ottenuto una sequenza di upgrade motivata, invece di aggiornare i connector un incidente alla volta.