返回所有使用案例

問題修復製造/汽車

修正存取模式,而不只是調高 tombstone 門檻

車聯網遠端資訊服務供應商

解決佇列式分割區上,刪除速度超過 compaction 與 gc_grace_seconds 處理能力、tombstone 累積所造成的讀取逾時。

概覽

一家車聯網遠端資訊服務供應商把一張 Cassandra 資料表當成工作佇列使用:寫入資料列,處理完畢後再刪除。後來讀取查詢開始逾時,因為協調節點必須掃描數萬個 tombstone,才能傳回寥寥幾筆有效資料列。AceMQ 依緊急 SLA 介入處理。

挑戰

tombstone 在 gc_grace_seconds 到期、並由 compaction 移除之前都仍可被讀取,這個機制是為了防止已刪除的資料在錯過刪除操作的節點上「復活」。由於整個環上的 repair 一直無法完成,調低 gc_grace_seconds 確實有導致資料復活的風險。團隊原本一直在調高 tombstone 的警告與失敗門檻,這掩蓋了症狀,底層的掃描成本卻持續攀升。

環境

部署於實體機上的多資料中心 Apache Cassandra 叢集,以大流量擷取車輛遙測資料。

做法

AceMQ 將立即紓解的工作與長久性修正分開處理。讓 repair 能穩定完成,是調整 gc_grace_seconds 的先決條件;而資料模型的變更則勢在必行,因為在寬分割區上實作佇列,無論設定為何,產生 tombstone 的速度都會超過 compaction 清除的速度。

解決方案

  1. 找出掃描最多 tombstone 的特定分割區與查詢型態
  2. 恢復整個環上 repair 的穩定完成,作為調整 gc_grace_seconds 的先決條件
  3. 將佇列工作負載從寬分割區模式改為依時間分桶的分割區,並以 TTL 方式自動過期
  4. 將受影響的資料表改用符合其寫入與刪除模式的 compaction 策略
  5. 還原先前調高的 tombstone 門檻,讓問題重新浮現,而不是被壓下來
  6. 在受控的時段內執行針對性的 compaction,清除既有的 tombstone 積壓

成效

受影響資料表的讀取逾時停止了,隨著 tombstone 掃描數量下降好幾個數量級,p99 讀取延遲也大幅降低。repair 如今能依排程完成,也一併消除了客戶過去在不知情下承擔的資料復活風險。

技術

Apache CassandraKubernetesPrometheusLinux

正面臨 Apache Cassandra 正式環境問題嗎?

AceMQ 的資深 Apache Cassandra 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。