概覽
一家資安分析服務供應商在多分片叢集上執行 ReplicatedMergeTree 資料表。複寫佇列會卡在無法完成的項目後方停滯,分析師的臨時查詢觸及記憶體上限而失敗,刪除用的 mutation 也不斷累積而無法完成。AceMQ 接手技術支援,由專屬資深工程師直接處理,不經過 Tier 1 第一線分流。
挑戰
對於習慣以列為單位儲存(row-store)之資料庫的團隊而言,ClickHouse 的故障模式相當陌生。複寫佇列中一個停滯的項目會阻擋其後所有項目,必須刻意介入處理。分析師查詢觸及記憶體上限時,團隊的做法是調高上限,結果反而把叢集推向主機層級的記憶體壓力。mutation 則被當作例行刪除來執行,完全沒有考量它所帶來的重寫成本。
環境
在 Kubernetes 上執行的 ClickHouse,以 ClickHouse Keeper 進行協調,提供資安事件搜尋與分析服務。
做法
AceMQ 針對每一類反覆發生的故障建立診斷程序,讓客戶團隊能直接處理常見情況,只有真正前所未見的事件才需要升級處理。以查詢層級的控制取代全面調高記憶體上限,並將 mutation 的使用納入政策規範。
解決方案
- 針對停滯的複寫佇列項目與 Keeper 工作階段問題,建立診斷與復原程序
- 以每個查詢與每個使用者的上限,搭配受控的磁碟溢寫,取代全面調高記憶體上限
- 改寫成本最高的分析師查詢,改用 projection 與彙總資料表,而非全表掃描
- 建立 mutation 政策,涵蓋批次處理、排程,以及何時改用以 TTL 為基礎的到期機制較為合適
- 將複寫延遲、mutation 積壓與每個查詢的記憶體用量納入監控訊號
- 提供 24/7 直通 ClickHouse 資深工程師的升級管道,並適用依方案而定、最快 15 分鐘起的回應目標
成效
複寫停滯現在能在影響查詢結果之前被偵測並排除,與記憶體相關的查詢失敗也降到過去的一小部分。客戶團隊依照執行手冊即可解決大多數反覆發生的狀況,無須升級處理。