概覽
分層儲存會將已關閉的 log segment 移到物件儲存,同時將最近的資料保留在本機磁碟上,讓保留期限不再受限於您佈建的 NVMe 大小。AceMQ 會評估讀取模式是否值得採用,並依實測行為設計設定與容量規劃。
挑戰
面對數月甚至數年保留需求的團隊,不是在每個 broker 上過度佈建本機磁碟,就是縮短保留期限,因而失去重播的能力。分層儲存能解決這個問題,但前提是本機快取時間窗必須符合 consumer 實際的讀取方式。從 topic 開頭重播的重建作業,會從物件儲存拉取大量資料,由此產生的請求與傳出流量成本,往往讓沒有事先估算的人大吃一驚。
環境
部署於 Kubernetes 或雲端執行個體上的 Redpanda 叢集,使用本機 NVMe 與 S3 相容物件儲存,同時服務串流 consumer 與定期的歷史資料重播。
做法
AceMQ 長期剖析 consumer 的讀取 offset,量測 consumer 實際會回溯多遠、多常回溯,以此決定本機快取時間窗。接著依 topic 將保留期限分成本機熱層與物件冷層,並依實際的重播模式、而非最壞情況,估算遠端讀取成本。
解決方案
- 剖析 consumer 讀取 offset,量測實際的近期資料時間窗與深度歷史重播的頻率
- 依 topic 將保留期限分配到本機熱儲存與遠端物件儲存兩層
- 依實測的熱資料時間窗,加上因應 consumer lag 事件的餘裕,規劃本機磁碟與快取容量
- 依實際重播模式而非最壞情況,估算物件儲存的請求、傳出流量與生命週期成本
- 為從冷層重播的批次與分析作業驗證遠端讀取效能
- 依遠端層驗證復原與 topic 重建程序,包括從物件儲存重建整個叢集
成效
客戶將保留期限延長一個數量級,本機儲存卻不必等比例增加,成本模型也反映了實測的讀取行為。復原程序在需要之前就已驗證完成,而不是在事故當中才驗證。