Panoramica
Le query federate funzionano bene quando le sorgenti riescono a fare la propria parte del lavoro, e male quando non ci riescono. AceMQ valuta i sistemi sorgente candidati, i pattern di query a cui saranno sottoposti e il modello di sicurezza dietro cui si trovano, e indica dove la federation reggerà e dove no.
Sfida
Le proposte di federation danno spesso per scontato che ogni sorgente sia raggiungibile allo stesso modo. Nella pratica, un database operativo potrebbe non tollerare il carico delle scansioni analitiche, una sorgente legata al mainframe potrebbe non avere alcun connettore utilizzabile, un cluster Hive kerberizzato potrebbe richiedere una propagazione delle identità che il team di sicurezza non ha approvato, e i percorsi di rete tra i segmenti potrebbero non esistere affatto. Scoprirlo dopo aver acquistato le licenze della piattaforma costa caro.
Ambiente
Ambienti misti on-premises e cloud con database relazionali, data lake su Hive o object storage e sistemi di data warehouse in domini di sicurezza separati.
Approccio
AceMQ profila ogni sorgente candidata per maturità del connettore, capacità di pushdown e tolleranza al carico analitico, quindi vi associa i pattern di query previsti. La fattibilità di sicurezza e di rete viene valutata insieme alle prestazioni, perché propagazione delle identità e segmentazione sono i vincoli che più spesso bloccano un deployment. Il risultato è un verdetto sorgente per sorgente con un piano di adozione ordinato.
Soluzione
- Revisione, sorgente per sorgente, della maturità dei connettori e della capacità di pushdown rispetto ai pattern di query previsti
- Analisi della tolleranza al carico per le sorgenti operative che non possono assorbire scansioni analitiche senza impatti sui workload transazionali
- Design della propagazione delle identità e delle autorizzazioni, con copertura di Kerberos, LDAP, OAuth e controllo degli accessi basato su file
- Revisione dei percorsi di rete e della segmentazione tra coordinator, worker e ciascun dominio sorgente
- Modello di dimensionamento del cluster ricavato da concorrenza, spill previsto e requisiti di memoria dei worker
- Sequenza di adozione che separa le sorgenti adatte alla federation da quelle da replicare prima nel data lake
Esito
I clienti ottengono una distinzione chiara tra le sorgenti pronte per la federation e quelle che richiedono prima replica o remediation, oltre a un design di dimensionamento e sicurezza in grado di superare l'esame del comitato di sicurezza.