概覽
一家多租戶分析服務供應商在面向客戶的儀表板重新整理期間,不斷因冗長的 stop-the-world 垃圾回收停頓而失去節點。AceMQ 提供持續的技術支援,享依方案而定、最快 15 分鐘起的回應目標,並由早已熟悉叢集拓撲的專屬資深工程師負責。
挑戰
parent circuit breaker 例外會以搜尋失敗的形式,出現在當下剛好在查詢的租戶身上,讓問題看起來毫無規律。對高基數欄位進行的深層 terms 彙總,以及沒有上限的 date-histogram 分桶,將大量 field data 拉進 heap;少數幾個過大的查詢就足以讓節點越過斷路器門檻,並觸發長到足以讓 master 將該節點逐出叢集的 GC 停頓。
環境
在 Kubernetes 上跨三個可用區域執行的 Elasticsearch,承載混合的租戶查詢負載,儀表板以短間隔重新整理。
做法
技術支援專案從線上事件發生當下的 hot threads 與 GC 日誌分析開始,而不是從事後檢討摘要開始。我們將斷路器觸發與慢查詢日誌相互對照,找出造成問題的具體查詢型態,再與客戶工程師合作在 API 層加以限制,而不是單純調高斷路器上限。
解決方案
- 24/7 事件回應,享依方案而定、最快 15 分鐘起的回應目標,客戶與資深工程師之間沒有 Tier 1 第一線分流層級
- 在斷路器事件發生當下擷取 hot threads、GC 日誌與節點統計資料進行分析,而不是事後重建
- 調校搜尋慢查詢日誌,找出真正推動 heap 成長的彙總型態
- 提供限制 terms 彙總大小、加入 search.max_buckets 上限,以及使用 composite 彙總進行深層分頁的指引
- 依據實際工作負載、而非預設值,檢視 field data 與查詢快取的大小配置
- 在維護時段與客戶一起驗證滾動式重啟與節點替換程序
成效
與斷路器相關的搜尋失敗降到過去的一小部分,叢集在儀表板使用尖峰時段也不再掉節點。客戶自己的工程師因為熟悉這類故障的特徵,現在多半能在審查階段就攔下有問題的查詢。