概覽
一家車聯網遠端資訊服務供應商把一張 Cassandra 資料表當成工作佇列使用:寫入資料列,處理完畢後再刪除。後來讀取查詢開始逾時,因為協調節點必須掃描數萬個 tombstone,才能傳回寥寥幾筆有效資料列。AceMQ 依緊急 SLA 介入處理。
挑戰
tombstone 在 gc_grace_seconds 到期、並由 compaction 移除之前都仍可被讀取,這個機制是為了防止已刪除的資料在錯過刪除操作的節點上「復活」。由於整個環上的 repair 一直無法完成,調低 gc_grace_seconds 確實有導致資料復活的風險。團隊原本一直在調高 tombstone 的警告與失敗門檻,這掩蓋了症狀,底層的掃描成本卻持續攀升。
環境
部署於實體機上的多資料中心 Apache Cassandra 叢集,以大流量擷取車輛遙測資料。
做法
AceMQ 將立即紓解的工作與長久性修正分開處理。讓 repair 能穩定完成,是調整 gc_grace_seconds 的先決條件;而資料模型的變更則勢在必行,因為在寬分割區上實作佇列,無論設定為何,產生 tombstone 的速度都會超過 compaction 清除的速度。
解決方案
- 找出掃描最多 tombstone 的特定分割區與查詢型態
- 恢復整個環上 repair 的穩定完成,作為調整 gc_grace_seconds 的先決條件
- 將佇列工作負載從寬分割區模式改為依時間分桶的分割區,並以 TTL 方式自動過期
- 將受影響的資料表改用符合其寫入與刪除模式的 compaction 策略
- 還原先前調高的 tombstone 門檻,讓問題重新浮現,而不是被壓下來
- 在受控的時段內執行針對性的 compaction,清除既有的 tombstone 積壓
成效
受影響資料表的讀取逾時停止了,隨著 tombstone 掃描數量下降好幾個數量級,p99 讀取延遲也大幅降低。repair 如今能依排程完成,也一併消除了客戶過去在不知情下承擔的資料復活風險。