Przegląd
Zapytania federacyjne działają dobrze, gdy źródła mogą wykonać swoją część pracy, a źle, gdy nie mogą. AceMQ ocenia kandydujące systemy źródłowe, wzorce zapytań, z którymi będą musiały się zmierzyć, i model bezpieczeństwa, za którym działają, a następnie wskazuje, gdzie federacja się sprawdzi, a gdzie nie.
Wyzwanie
Propozycje federacji często zakładają, że każde źródło jest równie łatwo dostępne. W praktyce operacyjna baza danych może nie znieść obciążenia skanami analitycznymi, źródło powiązane z mainframe'em może nie mieć użytecznego konektora, klaster Hive z Kerberosem może wymagać propagacji tożsamości, której zespół bezpieczeństwa nie zatwierdził, a ścieżki sieciowe między segmentami mogą w ogóle nie istnieć. Odkrycie tego po zakupie licencji na platformę jest kosztowne.
Środowisko
Mieszane środowiska on-premises i chmurowe z relacyjnymi bazami danych, jeziorami danych w Hive lub magazynie obiektowym oraz hurtowniami danych w odrębnych domenach bezpieczeństwa.
Podejście
AceMQ profiluje każde kandydujące źródło pod kątem dojrzałości konektora, możliwości pushdown i odporności na obciążenie analityczne, a następnie odwzorowuje na nie planowane wzorce zapytań. Wykonalność w zakresie bezpieczeństwa i sieci jest oceniana równolegle z wydajnością, ponieważ propagacja tożsamości i segmentacja to ograniczenia, które najczęściej blokują wdrożenie. Wynikiem jest werdykt dla każdego źródła wraz z uporządkowanym planem wdrażania.
Rozwiązanie
- Przegląd dojrzałości konektorów i możliwości pushdown dla każdego źródła względem planowanych wzorców zapytań
- Analiza odporności na obciążenie dla źródeł operacyjnych, które nie są w stanie przyjąć skanów analitycznych bez wpływu na obciążenia transakcyjne
- Projekt propagacji tożsamości i autoryzacji obejmujący Kerberos, LDAP, OAuth i kontrolę dostępu opartą na plikach
- Przegląd ścieżek sieciowych i segmentacji między koordynatorem, workerami i każdą domeną źródłową
- Model wymiarowania klastra oparty na współbieżności, oczekiwanym spill i wymaganiach pamięciowych workerów
- Kolejność wdrażania oddzielająca źródła, które bezproblemowo nadają się do federacji, od tych, które należy najpierw zreplikować do jeziora danych
Efekt
Klienci otrzymują jasny podział na źródła gotowe do federacji i źródła, które najpierw wymagają replikacji lub naprawy, a także projekt wymiarowania i bezpieczeństwa, który przejdzie przegląd komisji ds. bezpieczeństwa.