返回所有使用案例

評估政府/國防

弄清楚哪些來源適合聯合查詢,哪些需要先複製

公部門機關

在正式採用平台之前,評估聯合查詢層能否在既定的一組來源系統上真正運作。

概覽

當來源系統能分擔自己那部分的工作時,聯合查詢的效果很好;做不到時,效果就很差。AceMQ 會評估候選的來源系統、它們將面對的查詢模式,以及它們所處的安全模型,並回報聯合查詢在哪些地方站得住腳、在哪些地方行不通。

挑戰

聯合查詢的提案往往假設每個來源都一樣容易存取。但實際上,營運資料庫可能無法承受分析型掃描的負載、與大型主機相關的來源可能沒有可用的 connector、啟用 Kerberos 的 Hive 叢集可能需要資安團隊尚未核准的身分傳遞,而不同網段之間甚至可能根本沒有網路路徑。如果在平台授權後才發現這些問題,代價會很高。

環境

混合地端與雲端的環境,包含關聯式資料庫、Hive 或物件儲存資料湖,以及分屬不同安全網域的資料倉儲系統。

做法

AceMQ 會剖析每個候選來源的 connector 成熟度、pushdown 能力與對分析負載的承受度,再將預定的查詢模式對應上去。資安與網路的可行性會與效能一併評估,因為身分傳遞與網路區隔,是最常讓部署卡關的限制。產出的是逐一來源的判定結果,以及依序排列的導入計畫。

解決方案

  1. 依預定的查詢模式,逐一檢視各來源的 connector 成熟度與 pushdown 能力
  2. 分析營運來源的負載承受度,找出無法吸收分析型掃描而不影響交易工作負載的來源
  3. 身分傳遞與授權設計,涵蓋 Kerberos、LDAP、OAuth 與以檔案為基礎的存取控制
  4. 檢視 coordinator、worker 與各來源網域之間的網路路徑與區隔
  5. 依併發量、預期的 spill 與 worker 記憶體需求推導出叢集規模模型
  6. 制定導入順序,區分能順利聯合查詢的來源,以及應先複製到資料湖的來源

成效

客戶能清楚區分已可進行聯合查詢的來源,以及需要先複製或修正的來源,並取得一套經得起資安審查委員會檢驗的容量規劃與安全設計。

技術

StarburstTrinoApache HiveKerberos

準備好進行 Starburst 健康檢查了嗎?

AceMQ 的資深 Starburst 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。