概覽
某公部門機關所維運的 Cassandra 叢集,是從一個多年前就已結束的廠商專案接手而來。相關文件寥寥無幾,維運團隊也從未拿到過任何基準資料。AceMQ 依據該叢集目前的工作負載與預估成長進行了評估。
挑戰
評估一個接手而來的叢集,意味著必須把刻意的設計決策與日積月累的意外產物區分開來。複寫因子與一致性等級需要與該機關實際要求的持久性比對,token 分布需要驗證是否存在熱點,而 JVM 與垃圾回收行為則必須在真實負載下實際量測,而不是從設定值推論。
環境
地端部署的 Apache Cassandra 叢集,支撐案件管理與紀錄保存工作負載。
做法
AceMQ 從運作中的叢集收集證據——token 擁有權、各節點的負載分布、垃圾回收暫停時間的分布、compaction 積壓,以及待處理任務佇列——並依據該機關的持久性與可用性要求進行評估。各項發現依其距離引發事故的遠近排定優先順序。
解決方案
- 驗證 token 擁有權與各節點的負載分布,找出熱點與不平衡的節點
- 依據該機關實際的持久性要求,審查複寫因子與一致性等級
- 在正式環境負載下量測垃圾回收暫停時間的分布與 heap 行為
- 評估各資料表的 compaction 積壓、待處理任務與 SSTable 數量,找出持續累積的技術債
- 依據 gc_grace_seconds 評估 repair 的覆蓋範圍與完成紀錄
- 依成長趨勢預估剩餘容量,並交付依風險排序的修正路線圖
成效
該機關取得了一份從未有過的基準資料,最接近造成服務中斷的項目也已被辨識出來並排定處理順序。多項接手而來的設定——包括與既定持久性要求不符的一致性等級——也因此獲得修正。