Powrót do wszystkich studiów przypadków

DoradztwoOchrona zdrowia / świadczenia

Odejście od metastore Hive bez psucia każdego zadania w workspace

Dostawca analityki medycznej

Migracja ze starszego metastore Hive do Unity Catalog z mapowaniem external locations, aktualizacją tabel i modelem uprawnień, który wytrzymuje audyt.

Przegląd

Unity Catalog zastępuje metastore Hive przypisane do poszczególnych workspace'ów katalogiem na poziomie konta, który zapewnia lineage, kontrolę dostępu do wierszy i kolumn oraz jeden model uprawnień. W teorii migracja jest prosta, w praktyce chaotyczna, bo najpierw trzeba uporządkować lata narosłych tabel, punktów montowania i zakodowanych na sztywno ścieżek.

Wyzwanie

Starsze workspace'y mają zwykle setki tabel zarejestrowanych na montowaniach DBFS, mieszankę tabel zarządzanych i zewnętrznych o niejasnej własności oraz notebooki odwołujące się do nazw dwuczłonowych, których trójpoziomowa przestrzeń nazw Unity Catalog nie zaakceptuje. Kontrola dostępu opiera się na ACL na poziomie klastrów i instance profiles, które audytorom trudno odczytać. Jednorazowe przełączenie wszystkiego nie wchodzi w grę, gdy te same tabele zasilają raportowanie regulacyjne.

Środowisko

Workspace'y Databricks na AWS lub Azure z istniejącym metastore Hive, montowaniami DBFS oraz mieszanką zarządzanych i zewnętrznych tabel Delta.

Podejście

AceMQ inwentaryzuje istniejący metastore, klasyfikuje każdą tabelę według lokalizacji w pamięci masowej i właściciela oraz mapuje ścieżki magazynu w chmurze na external locations i storage credentials w Unity Catalog. Tabele przechodzą falami według domen i działają równolegle w obu metastore, dopóki konsumenci nie zostaną przełączeni. Uprawnienia odtwarzamy na podstawie przynależności do grup, zamiast kopiować je tabela po tabeli, dzięki czemu wynikowy model da się przejrzeć.

Rozwiązanie

  1. Pełna inwentaryzacja metastore z klasyfikacją tabel zarządzanych i zewnętrznych, ścieżek magazynu i aktywnych konsumentów
  2. Projekt external locations i storage credentials odwzorowany na istniejące granice IAM w chmurze
  3. Aktualizacja tabel falami z podwójną rejestracją, dzięki której konsumenci migrują we własnym tempie
  4. Skanowanie notebooków i zadań w poszukiwaniu dwuczłonowych odwołań do tabel i ścieżek montowań DBFS wymagających przepisania
  5. Model uprawnień oparty na grupach, z uprawnieniami do katalogów, schematów i tabel zdefiniowanymi w Terraform
  6. Weryfikacja lineage i logów audytowych względem dowodów zgodności, które zespół faktycznie musi przedstawiać

Efekt

Klienci zyskują jeden zarządzany katalog obejmujący wszystkie workspace'y, decyzje o dostępie wyrażone jako uprawnienia grup zamiast konfiguracji klastrów oraz lineage dostępne na potrzeby audytu. Zespoły migrują domena po domenie, zamiast przechodzić jeden ryzykowny weekend przełączenia.

Technologie

DatabricksDelta LakeApache SparkTerraform

Potrzebują Państwo doradztwa w zakresie architektury Databricks?

Starsi inżynierowie Databricks w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.