概覽
Unity Catalog 以帳戶層級的目錄取代各工作區各自的 Hive metastore,並內建資料沿襲、列與欄層級的存取控制,以及單一的授權模型。遷移在原則上很單純,實際執行卻很棘手,因為多年累積下來的資料表、掛載點與寫死的路徑,都必須先整理清楚。
挑戰
舊版工作區通常有數百張資料表註冊在 DBFS 掛載點上,受管與外部資料表混雜、擁有者不明,而且筆記本引用的是兩層式名稱,Unity Catalog 的三層式命名空間並不接受。存取控制分散在叢集範圍的 ACL 與 instance profile 中,稽核人員很難看懂。當同一批資料表還要供應受監管的報表時,一次性全面切換根本不可行。
環境
執行於 AWS 或 Azure 上的 Databricks 工作區,具備既有的 Hive metastore、DBFS 掛載點,以及受管與外部 Delta 資料表混合的環境。
做法
AceMQ 會盤點既有的 metastore,依儲存位置與擁有者將每一張資料表分類,並將雲端儲存路徑對應到 Unity Catalog 的外部位置與儲存憑證。資料表依業務領域分批遷移,在使用端切換完成前,同時於兩個 metastore 上平行運作。授權依群組成員資格重新建立,而不是逐表複製,讓最終的模型可供審查。
解決方案
- 完整盤點 metastore,區分受管與外部資料表、儲存路徑及目前仍在使用的使用端
- 依既有雲端 IAM 邊界,設計外部位置與儲存憑證
- 以雙重註冊方式分批升級資料表,讓各使用端依自己的時程遷移
- 掃描筆記本與作業,找出需要改寫的兩層式資料表引用與 DBFS 掛載路徑
- 以 Terraform 定義目錄、結構描述與資料表權限的群組式授權模型
- 依團隊實際必須提出的法規遵循證據,驗證資料沿襲與稽核日誌
成效
客戶最終獲得跨工作區的單一受控目錄,存取決策以群組授權表達、而非藏在叢集設定中,並可提供資料沿襲供稽核使用。各團隊依業務領域逐步遷移,不必承受單一個高風險的切換週末。