Torna a tutti i casi d'uso

AssessmentPubblica amministrazione / Difesa

Sapere quali sorgenti si prestano alla federation e quali vanno prima replicate

Ente della pubblica amministrazione

Valutare se un livello di query federate funzionerà davvero su un determinato insieme di sistemi sorgente, prima di impegnarsi sulla piattaforma.

Panoramica

Le query federate funzionano bene quando le sorgenti riescono a fare la propria parte del lavoro, e male quando non ci riescono. AceMQ valuta i sistemi sorgente candidati, i pattern di query a cui saranno sottoposti e il modello di sicurezza dietro cui si trovano, e indica dove la federation reggerà e dove no.

Sfida

Le proposte di federation danno spesso per scontato che ogni sorgente sia raggiungibile allo stesso modo. Nella pratica, un database operativo potrebbe non tollerare il carico delle scansioni analitiche, una sorgente legata al mainframe potrebbe non avere alcun connettore utilizzabile, un cluster Hive kerberizzato potrebbe richiedere una propagazione delle identità che il team di sicurezza non ha approvato, e i percorsi di rete tra i segmenti potrebbero non esistere affatto. Scoprirlo dopo aver acquistato le licenze della piattaforma costa caro.

Ambiente

Ambienti misti on-premises e cloud con database relazionali, data lake su Hive o object storage e sistemi di data warehouse in domini di sicurezza separati.

Approccio

AceMQ profila ogni sorgente candidata per maturità del connettore, capacità di pushdown e tolleranza al carico analitico, quindi vi associa i pattern di query previsti. La fattibilità di sicurezza e di rete viene valutata insieme alle prestazioni, perché propagazione delle identità e segmentazione sono i vincoli che più spesso bloccano un deployment. Il risultato è un verdetto sorgente per sorgente con un piano di adozione ordinato.

Soluzione

  1. Revisione, sorgente per sorgente, della maturità dei connettori e della capacità di pushdown rispetto ai pattern di query previsti
  2. Analisi della tolleranza al carico per le sorgenti operative che non possono assorbire scansioni analitiche senza impatti sui workload transazionali
  3. Design della propagazione delle identità e delle autorizzazioni, con copertura di Kerberos, LDAP, OAuth e controllo degli accessi basato su file
  4. Revisione dei percorsi di rete e della segmentazione tra coordinator, worker e ciascun dominio sorgente
  5. Modello di dimensionamento del cluster ricavato da concorrenza, spill previsto e requisiti di memoria dei worker
  6. Sequenza di adozione che separa le sorgenti adatte alla federation da quelle da replicare prima nel data lake

Esito

I clienti ottengono una distinzione chiara tra le sorgenti pronte per la federation e quelle che richiedono prima replica o remediation, oltre a un design di dimensionamento e sicurezza in grado di superare l'esame del comitato di sicurezza.

Tecnologie

StarburstTrinoApache HiveKerberos

Pronti per un health check di Starburst?

Gli ingegneri Starburst senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.