Zurück zu allen Kundenbeispielen

AssessmentBehörden / Verteidigung

Wissen, welche Quellen sich gut föderieren lassen und welche zuerst repliziert werden müssen

Behörde im öffentlichen Sektor

Bewertung, ob ein föderierter Query-Layer mit einer bestimmten Menge von Quellsystemen tatsächlich funktioniert – bevor man sich auf die Plattform festlegt.

Überblick

Föderierte Abfragen funktionieren gut, wenn die Quellen ihren Teil der Arbeit übernehmen können, und schlecht, wenn nicht. AceMQ bewertet die infrage kommenden Quellsysteme, die Abfragemuster, denen sie ausgesetzt sein werden, und das Sicherheitsmodell, hinter dem sie stehen – und zeigt auf, wo Federation trägt und wo nicht.

Herausforderung

Federation-Konzepte gehen oft davon aus, dass jede Quelle gleich gut ansprechbar ist. In der Praxis verträgt eine operative Datenbank womöglich keine analytische Scan-Last, für eine mainframe-nahe Quelle gibt es keinen brauchbaren Connector, ein kerberisierter Hive-Cluster erfordert eine Identity Propagation, die das Security-Team nicht freigegeben hat, und Netzwerkpfade zwischen Segmenten existieren unter Umständen gar nicht. Das erst nach dem Lizenzkauf festzustellen, wird teuer.

Umgebung

Gemischte On-Premises- und Cloud-Landschaften mit relationalen Datenbanken, Data Lakes auf Hive oder Object Storage und Warehouse-Systemen in getrennten Sicherheitsdomänen.

Vorgehen

AceMQ bewertet jede infrage kommende Quelle auf Reife des Connectors, Pushdown-Fähigkeit und Belastbarkeit durch analytische Last und bildet die geplanten Abfragemuster darauf ab. Sicherheit und Netzwerk-Machbarkeit werden zusammen mit der Performance geprüft, denn Identity Propagation und Segmentierung sind die Einschränkungen, an denen ein Deployment am häufigsten scheitert. Ergebnis ist eine Bewertung Quelle für Quelle mit einem geordneten Einführungsplan.

Lösung

  1. Prüfung von Connector-Reife und Pushdown-Fähigkeit Quelle für Quelle anhand der geplanten Abfragemuster
  2. Belastbarkeitsanalyse für operative Quellen, die analytische Scans nicht verkraften, ohne die transaktionalen Workloads zu beeinträchtigen
  3. Design von Identity Propagation und Autorisierung für Kerberos, LDAP, OAuth und dateibasierte Zugriffskontrolle
  4. Prüfung von Netzwerkpfaden und Segmentierung zwischen Coordinator, Workern und jeder Quelldomäne
  5. Modell zur Cluster-Dimensionierung auf Basis von Parallelität, erwartetem Spill und Speicherbedarf der Worker
  6. Einführungsreihenfolge, die Quellen mit sauberer Federation von denen trennt, die zuerst in den Lake repliziert werden sollten

Resultat

Kunden erhalten eine klare Trennung zwischen Quellen, die für Federation bereit sind, und Quellen, die zuerst repliziert oder nachgebessert werden müssen – dazu ein Dimensionierungs- und Sicherheitsdesign, das auch vor dem Security Review Board besteht.

Technologien

StarburstTrinoApache HiveKerberos

Bereit für einen Starburst-Health-Check?

Die Senior Engineers von AceMQ für Starburst haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.