返回所有使用案例

評估軟體/數位平台

別再為一季才讀一次的資料規劃本機 NVMe 容量

連網裝置平台供應商

為長期保留設計分層儲存,讓歷史資料存放在物件儲存中,而不再由本機磁碟決定您能保留多久。

概覽

分層儲存會將已關閉的 log segment 移到物件儲存,同時將最近的資料保留在本機磁碟上,讓保留期限不再受限於您佈建的 NVMe 大小。AceMQ 會評估讀取模式是否值得採用,並依實測行為設計設定與容量規劃。

挑戰

面對數月甚至數年保留需求的團隊,不是在每個 broker 上過度佈建本機磁碟,就是縮短保留期限,因而失去重播的能力。分層儲存能解決這個問題,但前提是本機快取時間窗必須符合 consumer 實際的讀取方式。從 topic 開頭重播的重建作業,會從物件儲存拉取大量資料,由此產生的請求與傳出流量成本,往往讓沒有事先估算的人大吃一驚。

環境

部署於 Kubernetes 或雲端執行個體上的 Redpanda 叢集,使用本機 NVMe 與 S3 相容物件儲存,同時服務串流 consumer 與定期的歷史資料重播。

做法

AceMQ 長期剖析 consumer 的讀取 offset,量測 consumer 實際會回溯多遠、多常回溯,以此決定本機快取時間窗。接著依 topic 將保留期限分成本機熱層與物件冷層,並依實際的重播模式、而非最壞情況,估算遠端讀取成本。

解決方案

  1. 剖析 consumer 讀取 offset,量測實際的近期資料時間窗與深度歷史重播的頻率
  2. 依 topic 將保留期限分配到本機熱儲存與遠端物件儲存兩層
  3. 依實測的熱資料時間窗,加上因應 consumer lag 事件的餘裕,規劃本機磁碟與快取容量
  4. 依實際重播模式而非最壞情況,估算物件儲存的請求、傳出流量與生命週期成本
  5. 為從冷層重播的批次與分析作業驗證遠端讀取效能
  6. 依遠端層驗證復原與 topic 重建程序,包括從物件儲存重建整個叢集

成效

客戶將保留期限延長一個數量級,本機儲存卻不必等比例增加,成本模型也反映了實測的讀取行為。復原程序在需要之前就已驗證完成,而不是在事故當中才驗證。

技術

RedpandaApache KafkaKubernetesApache Spark

準備好進行 Redpanda 健康檢查了嗎?

AceMQ 的資深 Redpanda 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。