概要
Unity Catalogは、ワークスペースごとのHiveメタストアを、リネージ、行と列のアクセス制御、単一の権限付与モデルを備えたアカウントレベルのカタログに置き換えます。移行は原理的には単純ですが、実際には厄介です。何年分ものテーブル、マウントポイント、ハードコードされたパスを、まず整理しなければならないからです。
課題
従来のワークスペースには、通常、DBFSのマウントに対して登録された数百のテーブルがあり、所有者のはっきりしないマネージドテーブルと外部テーブルが混在し、Unity Catalogの3階層の名前空間では受け付けられない2階層の名前を参照するノートブックがあります。アクセス制御はクラスター単位のACLとインスタンスプロファイルにあり、監査担当者には読み解くのが困難です。同じテーブルが規制対象のレポートにデータを供給している以上、一斉に切り替えるという選択肢はありません。
環境
既存のHiveメタストア、DBFSのマウント、マネージドと外部のDeltaテーブルが混在する、AWSまたはAzure上のDatabricksワークスペース。
アプローチ
AceMQは、既存のメタストアを棚卸しし、すべてのテーブルをストレージの場所と所有者で分類したうえで、クラウドストレージのパスをUnity Catalogの外部ロケーションとストレージ認証情報に対応付けます。テーブルはドメインごとに複数の段階に分けて移行し、コンシューマーの切り替えが完了するまで両方のメタストアに対して並行して稼働させます。権限はテーブル単位で複製するのではなく、グループのメンバーシップから再構築するため、出来上がるモデルはレビュー可能なものになります。
ソリューション
- マネージドテーブルと外部テーブル、ストレージのパス、稼働中のコンシューマーを分類する、メタストアの全面的な棚卸し
- 既存のクラウドIAMの境界に対応付けた、外部ロケーションとストレージ認証情報の設計
- コンシューマーが自分たちのスケジュールで移行できるよう、二重登録を伴う段階的なテーブルのアップグレード
- 書き換えが必要な2階層のテーブル参照とDBFSのマウントパスを見つけるための、ノートブックとジョブのスキャン
- カタログ、スキーマ、テーブルの権限をTerraformで定義した、グループベースの権限付与モデル
- チームが実際に提出しなければならないコンプライアンスの証跡に照らした、リネージと監査ログの検証
結果
お客様は、ワークスペースをまたいだ単一のガバナンス付きカタログを手にし、アクセスの判断はクラスターの設定ではなくグループへの権限付与として表現され、監査に使えるリネージも得られました。各チームは、リスクの高い週末の一斉切り替えを背負うことなく、ドメインごとに移行を進めています。