概覽
隨著客戶數量成長,一家 B2B SaaS 供應商「每個租戶一個索引」的模式已無法再擴展。AceMQ 設計了一套租戶架構,在維持隔離保證的同時,大幅減少叢集必須追蹤的分片數量。
挑戰
在每個租戶一個索引、分片採用預設設定的情況下,大多數索引只存放極少量的資料,叢集卻要承擔所有索引的中繼資料成本。叢集狀態膨脹到足以拖慢每一次分配決策。同時,少數大型租戶可能獨佔搜尋執行緒池,導致其他所有人的請求遭到佇列拒絕,因此「每個租戶一個索引」模式原本應該提供的隔離,在負載下其實並未發揮作用。
環境
執行於 Kubernetes 上的 OpenSearch,承載數千個租戶,資料量從數千份文件到數億份文件不等。
做法
我們設計了一套分層模式:小型租戶透過路由鍵與文件層級安全性共用資料池索引,大型租戶則保留依其資料量規劃的專用索引。此外,我們加入了搜尋層級的治理機制,確保沒有任何單一租戶能耗盡共用的執行緒池,並定義了租戶隨著成長而升級的路徑。
解決方案
- 分層索引策略:小型租戶使用共用的資料池索引,大型租戶使用專用索引
- 自訂路由與文件層級安全性,確保共用索引內的租戶隔離維持完整
- 明確的升級準則,以及經過測試的重新索引路徑,讓租戶在成長時能從資料池移轉至專用索引
- 搜尋執行緒池規模規劃、佇列上限與各租戶的並行控制,避免單一重度租戶拖垮其他租戶
- 查詢治理機制,包括逾時、結果數量上限,以及回傳至應用程式層的拒絕處理
- 以程式碼管理叢集與索引範本,並將租戶上線流程全面自動化
成效
小型租戶併入資料池後,分片數量減少了大約一個數量級,叢集狀態操作也重新恢復快速。尖峰時段的搜尋佇列拒絕大致消失,新租戶上線如今是一個自動化步驟,而不再需要手動建立索引。