概覽
Greenplum 的效能大多在設計階段就已決定。Segment 數量、distribution key 與儲存選擇,決定了工作會平均分散到整個叢集,還是集中堆積在少數幾個 segment 上。
挑戰
Distribution key 選擇不當所造成的資料傾斜,並不會主動現身。它表現為查詢速度比硬體應有的水準還慢,而且隨著資料量成長,會越來越難修正。
環境
適用於任何 Greenplum 部署,包括透過 VMware Tanzu 訂閱取得授權的環境。
做法
AceMQ 依照工作負載型態檢視叢集拓撲:segment 數量與主機配置、實際量測傾斜程度的 distribution key、分割與儲存選擇,以及讓 append-optimized 儲存維持健康的 vacuum 與 analyze 排程。
解決方案
- Segment 數量與主機拓撲檢視
- 以實測而非假設的傾斜程度進行 distribution key 分析
- 分割策略與儲存選擇檢視
- Vacuum 與 analyze 排程評估
- ETL 與載入路徑最佳化
- 依風險排定優先順序的修正路線圖
成效
團隊能清楚了解哪些資料表確實存在傾斜、造成多少成本,以及在下一次成長前,哪些修正值得進行。