概覽
一家支付處理商以 cron 作業執行 repair,對所有 keyspace 進行完整 repair。執行時間經常超過 gc_grace_seconds 的時間窗,彼此重疊,並在耗盡叢集 I/O 時被強制終止。沒有人說得出整個 ring 上一次完整 repair 是什麼時候。AceMQ 接手技術支援,並指派專屬資深工程師負責。
挑戰
無法在 gc_grace_seconds 內完成的 repair,並不是例行維護問題,而是代表當 compaction 在部分複本上移除 tombstone、其他複本卻沒有時,已刪除的資料可能會重新出現。在大型多資料中心 ring 上執行完整 repair 成本太高,根本無法完成,而它所觸發的資料串流又直接與正式環境流量競爭。
環境
橫跨地端與雲端的多資料中心 Apache Cassandra,承載交易分類帳與清算資料。
做法
AceMQ 以排程化、分段式的增量 repair 取代整個 ring 的 repair,可依叢集剩餘資源調整步調,並在中斷後接續執行。並針對每張資料表重新調校 compaction 策略與吞吐量設定,讓 repair 與 compaction 不再爭用相同的 I/O。
解決方案
- 以排程化、分段式的 repair 編排工具取代 cron 驅動的完整 repair,中斷後接續執行而非從頭開始
- 依叢集剩餘資源調整 repair 步調,使其不再於上班時間耗盡 I/O
- 依實際的讀取、寫入與刪除模式,為每張資料表重新調校 compaction 策略,而不是沿用預設值
- 調整 compaction 吞吐量與 concurrent compactor 設定,以符合底層儲存
- 將每個 keyspace 的 repair 完成時間對照 gc_grace_seconds,作為可追蹤、可告警的指標
- 提供 24/7 直達 Cassandra 資深工程師的升級處理,流程中沒有 tier-1 分流
成效
現在每個 keyspace 的 repair 都能遠在 gc_grace_seconds 內完成,而且完成狀況是以指標追蹤,而非想當然耳。叢集原本承擔的資料復活風險已經消除,repair 執行時也不再拖累正式環境的延遲。