概要
フェデレーテッドクエリは、ソース側が自らの処理を分担できる場合にはうまく機能し、分担できない場合にはうまく機能しません。AceMQは、候補となるソースシステム、それらが受けるクエリパターン、そしてその背後にあるセキュリティモデルを評価し、フェデレーションが通用する箇所と通用しない箇所を報告します。
課題
フェデレーションの提案は、すべてのソースに同じようにアクセスできることを前提にしがちです。しかし実際には、業務系データベースが分析用のスキャン負荷に耐えられない、メインフレームに近いソースに使えるコネクターがない、Kerberos化されたHiveクラスターがセキュリティチームの承認していないID伝搬を必要とする、セグメント間のネットワーク経路がそもそも存在しない、といったことが起こります。これにプラットフォームのライセンス契約後に気づくと、高くつきます。
環境
リレーショナルデータベース、Hiveまたはオブジェクトストレージのデータレイク、データウェアハウスシステムが、それぞれ別のセキュリティドメインに置かれた、オンプレミスとクラウドの混在環境。
アプローチ
AceMQは、候補となる各ソースについて、コネクターの成熟度、プッシュダウンの対応状況、分析負荷への耐性をプロファイリングし、想定するクエリパターンをそれぞれに当てはめます。ID伝搬とネットワークのセグメンテーションこそが導入を阻む最も多い制約であるため、セキュリティとネットワークの実現可能性もパフォーマンスとあわせて評価します。成果物は、ソースごとの判定と、優先順位をつけた導入計画です。
ソリューション
- 想定するクエリパターンに照らして、ソースごとにコネクターの成熟度とプッシュダウンの対応状況をレビュー
- トランザクション処理に影響を与えずには分析用スキャンを受け止められない業務系ソースについて、負荷耐性を分析
- Kerberos、LDAP、OAuth、ファイルベースのアクセス制御を網羅したID伝搬と認可の設計
- コーディネーター、ワーカー、各ソースドメイン間のネットワーク経路とセグメンテーションをレビュー
- 同時実行数、想定されるスピル、ワーカーのメモリ要件から導いたクラスターのサイジングモデル
- 問題なくフェデレーションできるソースと、先にデータレイクへレプリケーションすべきソースを切り分けた導入順序
結果
お客様は、フェデレーションの準備が整っているソースと、先にレプリケーションや改修が必要なソースを明確に切り分けたうえで、セキュリティ審査委員会の審査にも耐えるサイジングとセキュリティ設計を手にしています。