Torna a tutti i casi d'uso

AssessmentTrasversale

Un inventario onesto di ciò che il vostro parco Airbyte sta davvero facendo

Gruppo di servizi assicurativi

Una revisione strutturata di un parco Airbyte cresciuto in modo spontaneo, con audit di versioni dei connector, sync mode, gestione dello stato e visibilità sugli errori.

Panoramica

I parchi Airbyte tendono ad accumularsi. Le connessioni vengono aggiunte rapidamente perché è facile farlo, e dopo un anno nessuno sa dire quali connector siano fermi a versioni vecchie, quali stream siano in full refresh senza motivo o quali pipeline non vengano consumate da nulla a valle.

Sfida

Il team della data platform gestiva oltre cento connessioni distribuite su diversi workspace. Le versioni dei connector erano molto eterogenee, i connector personalizzati erano stati sviluppati da persone che nel frattempo avevano lasciato l'azienda e non esisteva uno schema coerente per primary key, deduplicazione o gestione dei dead-letter. Nessuno era in grado di stimare il raggio d'impatto di un upgrade dei connector.

Ambiente

Airbyte self-hosted su Kubernetes, con un mix di connector certificati, della community e sviluppati internamente che alimentano un data warehouse in cloud.

Approccio

AceMQ ha censito ogni connessione tramite l'API di Airbyte e ha associato ciascuno stream ai relativi consumer a valle, quindi ha valutato le connessioni in base ad aggiornamento della versione, adeguatezza del sync mode, affidabilità dello stato e osservabilità. Il risultato è stato un backlog di remediation ordinato per priorità anziché un generico punteggio di maturità.

Soluzione

  1. Inventario completo di workspace, connessioni, stream e versioni dei connector tramite l'API di Airbyte
  2. Ciascuno stream associato ai modelli del warehouse a valle per individuare pipeline inutilizzate e orfane
  3. Segnalati gli stream in cui il sync mode scelto non corrisponde alle caratteristiche di modifica della tabella
  4. Revisione del codice dei connector personalizzati per individuare lacune nella gestione di retry, paginazione e rate limit
  5. Fornito un backlog con priorità, stime dell'impegno e un piano di sequenziamento degli upgrade

Esito

Il team ha dismesso una quota significativa di connessioni che non alimentavano nulla, ha consolidato le versioni dei connector su una baseline supportata e ha ottenuto una sequenza di upgrade motivata, invece di aggiornare i connector un incidente alla volta.

Tecnologie

AirbyteKubernetesPostgreSQLdbtKafka

Pronti per un health check di Airbyte?

Gli ingegneri Airbyte senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.