返回所有使用案例

技術支援金融服務/支付

能如期完成、而且能證明如期完成的 repair

全球支付處理商

針對始終無法在 gc_grace_seconds 內完成的 anti-entropy repair 提供持續技術支援,避免叢集面臨已刪除資料復活的風險。

概覽

一家支付處理商以 cron 作業執行 repair,對所有 keyspace 進行完整 repair。執行時間經常超過 gc_grace_seconds 的時間窗,彼此重疊,並在耗盡叢集 I/O 時被強制終止。沒有人說得出整個 ring 上一次完整 repair 是什麼時候。AceMQ 接手技術支援,並指派專屬資深工程師負責。

挑戰

無法在 gc_grace_seconds 內完成的 repair,並不是例行維護問題,而是代表當 compaction 在部分複本上移除 tombstone、其他複本卻沒有時,已刪除的資料可能會重新出現。在大型多資料中心 ring 上執行完整 repair 成本太高,根本無法完成,而它所觸發的資料串流又直接與正式環境流量競爭。

環境

橫跨地端與雲端的多資料中心 Apache Cassandra,承載交易分類帳與清算資料。

做法

AceMQ 以排程化、分段式的增量 repair 取代整個 ring 的 repair,可依叢集剩餘資源調整步調,並在中斷後接續執行。並針對每張資料表重新調校 compaction 策略與吞吐量設定,讓 repair 與 compaction 不再爭用相同的 I/O。

解決方案

  1. 以排程化、分段式的 repair 編排工具取代 cron 驅動的完整 repair,中斷後接續執行而非從頭開始
  2. 依叢集剩餘資源調整 repair 步調,使其不再於上班時間耗盡 I/O
  3. 依實際的讀取、寫入與刪除模式,為每張資料表重新調校 compaction 策略,而不是沿用預設值
  4. 調整 compaction 吞吐量與 concurrent compactor 設定,以符合底層儲存
  5. 將每個 keyspace 的 repair 完成時間對照 gc_grace_seconds,作為可追蹤、可告警的指標
  6. 提供 24/7 直達 Cassandra 資深工程師的升級處理,流程中沒有 tier-1 分流

成效

現在每個 keyspace 的 repair 都能遠在 gc_grace_seconds 內完成,而且完成狀況是以指標追蹤,而非想當然耳。叢集原本承擔的資料復活風險已經消除,repair 執行時也不再拖累正式環境的延遲。

技術

Apache CassandraReaperPrometheusKubernetes

需要專業的 Apache Cassandra 技術支援嗎?

AceMQ 的資深 Apache Cassandra 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。