概覽
當來源系統能分擔自己那部分的工作時,聯合查詢的效果很好;做不到時,效果就很差。AceMQ 會評估候選的來源系統、它們將面對的查詢模式,以及它們所處的安全模型,並回報聯合查詢在哪些地方站得住腳、在哪些地方行不通。
挑戰
聯合查詢的提案往往假設每個來源都一樣容易存取。但實際上,營運資料庫可能無法承受分析型掃描的負載、與大型主機相關的來源可能沒有可用的 connector、啟用 Kerberos 的 Hive 叢集可能需要資安團隊尚未核准的身分傳遞,而不同網段之間甚至可能根本沒有網路路徑。如果在平台授權後才發現這些問題,代價會很高。
環境
混合地端與雲端的環境,包含關聯式資料庫、Hive 或物件儲存資料湖,以及分屬不同安全網域的資料倉儲系統。
做法
AceMQ 會剖析每個候選來源的 connector 成熟度、pushdown 能力與對分析負載的承受度,再將預定的查詢模式對應上去。資安與網路的可行性會與效能一併評估,因為身分傳遞與網路區隔,是最常讓部署卡關的限制。產出的是逐一來源的判定結果,以及依序排列的導入計畫。
解決方案
- 依預定的查詢模式,逐一檢視各來源的 connector 成熟度與 pushdown 能力
- 分析營運來源的負載承受度,找出無法吸收分析型掃描而不影響交易工作負載的來源
- 身分傳遞與授權設計,涵蓋 Kerberos、LDAP、OAuth 與以檔案為基礎的存取控制
- 檢視 coordinator、worker 與各來源網域之間的網路路徑與區隔
- 依併發量、預期的 spill 與 worker 記憶體需求推導出叢集規模模型
- 制定導入順序,區分能順利聯合查詢的來源,以及應先複製到資料湖的來源
成效
客戶能清楚區分已可進行聯合查詢的來源,以及需要先複製或修正的來源,並取得一套經得起資安審查委員會檢驗的容量規劃與安全設計。