Überblick
Föderierte Abfragen funktionieren gut, wenn die Quellen ihren Teil der Arbeit übernehmen können, und schlecht, wenn nicht. AceMQ bewertet die infrage kommenden Quellsysteme, die Abfragemuster, denen sie ausgesetzt sein werden, und das Sicherheitsmodell, hinter dem sie stehen – und zeigt auf, wo Federation trägt und wo nicht.
Herausforderung
Federation-Konzepte gehen oft davon aus, dass jede Quelle gleich gut ansprechbar ist. In der Praxis verträgt eine operative Datenbank womöglich keine analytische Scan-Last, für eine mainframe-nahe Quelle gibt es keinen brauchbaren Connector, ein kerberisierter Hive-Cluster erfordert eine Identity Propagation, die das Security-Team nicht freigegeben hat, und Netzwerkpfade zwischen Segmenten existieren unter Umständen gar nicht. Das erst nach dem Lizenzkauf festzustellen, wird teuer.
Umgebung
Gemischte On-Premises- und Cloud-Landschaften mit relationalen Datenbanken, Data Lakes auf Hive oder Object Storage und Warehouse-Systemen in getrennten Sicherheitsdomänen.
Vorgehen
AceMQ bewertet jede infrage kommende Quelle auf Reife des Connectors, Pushdown-Fähigkeit und Belastbarkeit durch analytische Last und bildet die geplanten Abfragemuster darauf ab. Sicherheit und Netzwerk-Machbarkeit werden zusammen mit der Performance geprüft, denn Identity Propagation und Segmentierung sind die Einschränkungen, an denen ein Deployment am häufigsten scheitert. Ergebnis ist eine Bewertung Quelle für Quelle mit einem geordneten Einführungsplan.
Lösung
- Prüfung von Connector-Reife und Pushdown-Fähigkeit Quelle für Quelle anhand der geplanten Abfragemuster
- Belastbarkeitsanalyse für operative Quellen, die analytische Scans nicht verkraften, ohne die transaktionalen Workloads zu beeinträchtigen
- Design von Identity Propagation und Autorisierung für Kerberos, LDAP, OAuth und dateibasierte Zugriffskontrolle
- Prüfung von Netzwerkpfaden und Segmentierung zwischen Coordinator, Workern und jeder Quelldomäne
- Modell zur Cluster-Dimensionierung auf Basis von Parallelität, erwartetem Spill und Speicherbedarf der Worker
- Einführungsreihenfolge, die Quellen mit sauberer Federation von denen trennt, die zuerst in den Lake repliziert werden sollten
Resultat
Kunden erhalten eine klare Trennung zwischen Quellen, die für Federation bereit sind, und Quellen, die zuerst repliziert oder nachgebessert werden müssen – dazu ein Dimensionierungs- und Sicherheitsdesign, das auch vor dem Security Review Board besteht.