返回所有使用案例

技術支援跨產業

由資深工程師提供 24/7 ClickHouse 技術支援,並享依方案而定、最快 15 分鐘起的回應目標

資安分析服務供應商

為 ReplicatedMergeTree 叢集提供持續技術支援,涵蓋複寫佇列停滯、大型查詢觸及記憶體上限而失敗,以及 mutation 積壓等問題。

概覽

一家資安分析服務供應商在多分片叢集上執行 ReplicatedMergeTree 資料表。複寫佇列會卡在無法完成的項目後方停滯,分析師的臨時查詢觸及記憶體上限而失敗,刪除用的 mutation 也不斷累積而無法完成。AceMQ 接手技術支援,由專屬資深工程師直接處理,不經過 Tier 1 第一線分流。

挑戰

對於習慣以列為單位儲存(row-store)之資料庫的團隊而言,ClickHouse 的故障模式相當陌生。複寫佇列中一個停滯的項目會阻擋其後所有項目,必須刻意介入處理。分析師查詢觸及記憶體上限時,團隊的做法是調高上限,結果反而把叢集推向主機層級的記憶體壓力。mutation 則被當作例行刪除來執行,完全沒有考量它所帶來的重寫成本。

環境

在 Kubernetes 上執行的 ClickHouse,以 ClickHouse Keeper 進行協調,提供資安事件搜尋與分析服務。

做法

AceMQ 針對每一類反覆發生的故障建立診斷程序,讓客戶團隊能直接處理常見情況,只有真正前所未見的事件才需要升級處理。以查詢層級的控制取代全面調高記憶體上限,並將 mutation 的使用納入政策規範。

解決方案

  1. 針對停滯的複寫佇列項目與 Keeper 工作階段問題,建立診斷與復原程序
  2. 以每個查詢與每個使用者的上限,搭配受控的磁碟溢寫,取代全面調高記憶體上限
  3. 改寫成本最高的分析師查詢,改用 projection 與彙總資料表,而非全表掃描
  4. 建立 mutation 政策,涵蓋批次處理、排程,以及何時改用以 TTL 為基礎的到期機制較為合適
  5. 將複寫延遲、mutation 積壓與每個查詢的記憶體用量納入監控訊號
  6. 提供 24/7 直通 ClickHouse 資深工程師的升級管道,並適用依方案而定、最快 15 分鐘起的回應目標

成效

複寫停滯現在能在影響查詢結果之前被偵測並排除,與記憶體相關的查詢失敗也降到過去的一小部分。客戶團隊依照執行手冊即可解決大多數反覆發生的狀況,無須升級處理。

技術

ClickHouseClickHouse KeeperKubernetesPrometheus

需要專業的 ClickHouse 技術支援嗎?

AceMQ 的資深 ClickHouse 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。