返回所有使用案例

問題修復能源/公用事業

從遺失的日誌行,一路追查到引發背壓的 grok 樣式

能源公用事業業者

修復一條 ELK 管線:Logstash 背壓導致 Beats agent 停滯,使整個主機群的日誌出現缺漏。

概覽

一家能源公用事業業者的主機群間歇性出現日誌缺漏,卻找不到明顯原因。這些缺漏經由 Logstash 一路追查,最後發現是少數幾個 filter 樣式吃掉了大部分可用的 CPU。

挑戰

有幾個 grok 樣式在撰寫時使用了開頭萬用字元與巢狀的選擇性群組,遇到格式不符預期的日誌行時,就會發生災難性回溯。單一一行格式錯誤的日誌,就可能長時間占住一條 worker 執行緒。worker 被占滿後,持久化佇列隨之填滿,Logstash 對 Beats 輸入端施加背壓,agent 便停止傳送。等佇列終於消化完畢,agent 會從其 registry 接續傳送——但在這段期間已經輪替的檔案早已消失。

環境

地端 ELK stack,Filebeat agent 部署於大量伺服器上,並由 Logstash 層負責解析與資料擴充。

做法

我們對 filter 管線進行效能剖析,找出時間實際耗在哪裡,而不是靠目測來最佳化。找出病態樣式之後,我們以加上錨點的運算式改寫它們,並在格式固定之處改用 dissect;接著強化管線的韌性,讓單一一行錯誤日誌只會影響一筆事件,而不會讓整個主機群停擺。

解決方案

  1. 逐一剖析每個 filter,找出占用不成比例 CPU 時間的特定樣式
  2. 以錨點改寫會造成災難性回溯的 grok 樣式,並在日誌格式固定之處改用 dissect
  3. 設定逾時與 tag-on-failure 行為,讓無法解析的日誌行被加上標記後直接放行,絕不卡住 worker
  4. 依實測吞吐量(而非預設值)調整持久化佇列大小與 worker 數量
  5. 調整 Beats registry 與檔案輪替設定,讓背壓停滯時不會遺失已輪替的檔案
  6. 新增佇列深度與 filter 處理時間監控,讓逐漸形成的背壓在缺漏出現前就能被看見

成效

移除病態樣式之後,日誌缺漏完全消失,管線吞吐量在相同硬體上提升了數倍。如今佇列深度告警能在 agent 停滯之前許久,就提早揭露壓力。

技術

ELK StackLogstashElasticsearchFilebeat

正面臨 ELK Stack 正式環境問題嗎?

AceMQ 的資深 ELK Stack 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。