概覽
一家物流供應商在雲端與地端站台上執行 ELK,卻沒有專責的平台負責人。資料攝取問題往往在數天後,才以儀表板資料缺漏的形式浮現。AceMQ 針對整條資料攝取路徑提供持續性的技術支援。
挑戰
故障分散在各個層級,卻沒有人為整條鏈負責。當兩個服務以不同型別使用同一個欄位名稱時,mapping 衝突會無聲地拒絕文件——資料就這樣從未抵達,而且沒有任何針對拒絕事件的告警。索引範本在各環境之間逐漸出現差異,導致在預備環境驗證過的管線,到了正式環境卻有不同的行為。較舊主機上的 Beats 代理程式,執行的版本已超出與叢集相容的支援範圍。
環境
混合式 ELK 部署,Beats 代理程式分布於雲端與地端站台,由多個團隊共同提供管線設定。
做法
技術支援涵蓋端到端的整條管線,因為故障正是發生在那裡。我們針對文件拒絕事件設定告警,讓無聲的資料遺失變得可見;將索引範本與管線定義納入版本控制,並確保各環境一致;並將 Beats 版本相容性列為排程中的例行工作,而不是等到緊急時才處理。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師涵蓋整條資料攝取路徑
- 針對文件拒絕與 mapping 衝突設定告警,讓被無聲捨棄的資料立即浮現
- 將索引範本與元件範本標準化,並以欄位命名慣例防止型別衝突
- 將管線與範本定義納入版本控制,並強制預備環境與正式環境保持一致
- 建立 Beats 代理程式版本清冊,並排定升級節奏,讓整批代理程式維持在支援範圍內
- 管線修改在進入正式環境之前先經過變更審查,且每項變更都定義了回復方式
成效
無聲的文件拒絕現在能在數分鐘內被發現,而不是在數天後才以儀表板資料缺漏的形式浮現。自從範本納入版本控制後,預備環境與正式環境之間的差異已實質消失。