Przegląd
Unity Catalog zastępuje metastore Hive przypisane do poszczególnych workspace'ów katalogiem na poziomie konta, który zapewnia lineage, kontrolę dostępu do wierszy i kolumn oraz jeden model uprawnień. W teorii migracja jest prosta, w praktyce chaotyczna, bo najpierw trzeba uporządkować lata narosłych tabel, punktów montowania i zakodowanych na sztywno ścieżek.
Wyzwanie
Starsze workspace'y mają zwykle setki tabel zarejestrowanych na montowaniach DBFS, mieszankę tabel zarządzanych i zewnętrznych o niejasnej własności oraz notebooki odwołujące się do nazw dwuczłonowych, których trójpoziomowa przestrzeń nazw Unity Catalog nie zaakceptuje. Kontrola dostępu opiera się na ACL na poziomie klastrów i instance profiles, które audytorom trudno odczytać. Jednorazowe przełączenie wszystkiego nie wchodzi w grę, gdy te same tabele zasilają raportowanie regulacyjne.
Środowisko
Workspace'y Databricks na AWS lub Azure z istniejącym metastore Hive, montowaniami DBFS oraz mieszanką zarządzanych i zewnętrznych tabel Delta.
Podejście
AceMQ inwentaryzuje istniejący metastore, klasyfikuje każdą tabelę według lokalizacji w pamięci masowej i właściciela oraz mapuje ścieżki magazynu w chmurze na external locations i storage credentials w Unity Catalog. Tabele przechodzą falami według domen i działają równolegle w obu metastore, dopóki konsumenci nie zostaną przełączeni. Uprawnienia odtwarzamy na podstawie przynależności do grup, zamiast kopiować je tabela po tabeli, dzięki czemu wynikowy model da się przejrzeć.
Rozwiązanie
- Pełna inwentaryzacja metastore z klasyfikacją tabel zarządzanych i zewnętrznych, ścieżek magazynu i aktywnych konsumentów
- Projekt external locations i storage credentials odwzorowany na istniejące granice IAM w chmurze
- Aktualizacja tabel falami z podwójną rejestracją, dzięki której konsumenci migrują we własnym tempie
- Skanowanie notebooków i zadań w poszukiwaniu dwuczłonowych odwołań do tabel i ścieżek montowań DBFS wymagających przepisania
- Model uprawnień oparty na grupach, z uprawnieniami do katalogów, schematów i tabel zdefiniowanymi w Terraform
- Weryfikacja lineage i logów audytowych względem dowodów zgodności, które zespół faktycznie musi przedstawiać
Efekt
Klienci zyskują jeden zarządzany katalog obejmujący wszystkie workspace'y, decyzje o dostępie wyrażone jako uprawnienia grup zamiast konfiguracji klastrów oraz lineage dostępne na potrzeby audytu. Zespoły migrują domena po domenie, zamiast przechodzić jeden ryzykowny weekend przełączenia.