返回所有使用案例

顧問服務醫療保健/福利

擺脫 Hive metastore,又不讓工作區裡的每一個作業跟著出錯

醫療分析服務供應商

從舊版 Hive metastore 遷移至 Unity Catalog,涵蓋外部位置對應、資料表升級,以及經得起稽核的授權模型。

概覽

Unity Catalog 以帳戶層級的目錄取代各工作區各自的 Hive metastore,並內建資料沿襲、列與欄層級的存取控制,以及單一的授權模型。遷移在原則上很單純,實際執行卻很棘手,因為多年累積下來的資料表、掛載點與寫死的路徑,都必須先整理清楚。

挑戰

舊版工作區通常有數百張資料表註冊在 DBFS 掛載點上,受管與外部資料表混雜、擁有者不明,而且筆記本引用的是兩層式名稱,Unity Catalog 的三層式命名空間並不接受。存取控制分散在叢集範圍的 ACL 與 instance profile 中,稽核人員很難看懂。當同一批資料表還要供應受監管的報表時,一次性全面切換根本不可行。

環境

執行於 AWS 或 Azure 上的 Databricks 工作區,具備既有的 Hive metastore、DBFS 掛載點,以及受管與外部 Delta 資料表混合的環境。

做法

AceMQ 會盤點既有的 metastore,依儲存位置與擁有者將每一張資料表分類,並將雲端儲存路徑對應到 Unity Catalog 的外部位置與儲存憑證。資料表依業務領域分批遷移,在使用端切換完成前,同時於兩個 metastore 上平行運作。授權依群組成員資格重新建立,而不是逐表複製,讓最終的模型可供審查。

解決方案

  1. 完整盤點 metastore,區分受管與外部資料表、儲存路徑及目前仍在使用的使用端
  2. 依既有雲端 IAM 邊界,設計外部位置與儲存憑證
  3. 以雙重註冊方式分批升級資料表,讓各使用端依自己的時程遷移
  4. 掃描筆記本與作業,找出需要改寫的兩層式資料表引用與 DBFS 掛載路徑
  5. 以 Terraform 定義目錄、結構描述與資料表權限的群組式授權模型
  6. 依團隊實際必須提出的法規遵循證據,驗證資料沿襲與稽核日誌

成效

客戶最終獲得跨工作區的單一受控目錄,存取決策以群組授權表達、而非藏在叢集設定中,並可提供資料沿襲供稽核使用。各團隊依業務領域逐步遷移,不必承受單一個高風險的切換週末。

技術

DatabricksDelta LakeApache SparkTerraform

需要 Databricks 架構指引嗎?

AceMQ 的資深 Databricks 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。