概覽
一家能源公用事業業者的主機群間歇性出現日誌缺漏,卻找不到明顯原因。這些缺漏經由 Logstash 一路追查,最後發現是少數幾個 filter 樣式吃掉了大部分可用的 CPU。
挑戰
有幾個 grok 樣式在撰寫時使用了開頭萬用字元與巢狀的選擇性群組,遇到格式不符預期的日誌行時,就會發生災難性回溯。單一一行格式錯誤的日誌,就可能長時間占住一條 worker 執行緒。worker 被占滿後,持久化佇列隨之填滿,Logstash 對 Beats 輸入端施加背壓,agent 便停止傳送。等佇列終於消化完畢,agent 會從其 registry 接續傳送——但在這段期間已經輪替的檔案早已消失。
環境
地端 ELK stack,Filebeat agent 部署於大量伺服器上,並由 Logstash 層負責解析與資料擴充。
做法
我們對 filter 管線進行效能剖析,找出時間實際耗在哪裡,而不是靠目測來最佳化。找出病態樣式之後,我們以加上錨點的運算式改寫它們,並在格式固定之處改用 dissect;接著強化管線的韌性,讓單一一行錯誤日誌只會影響一筆事件,而不會讓整個主機群停擺。
解決方案
- 逐一剖析每個 filter,找出占用不成比例 CPU 時間的特定樣式
- 以錨點改寫會造成災難性回溯的 grok 樣式,並在日誌格式固定之處改用 dissect
- 設定逾時與 tag-on-failure 行為,讓無法解析的日誌行被加上標記後直接放行,絕不卡住 worker
- 依實測吞吐量(而非預設值)調整持久化佇列大小與 worker 數量
- 調整 Beats registry 與檔案輪替設定,讓背壓停滯時不會遺失已輪替的檔案
- 新增佇列深度與 filter 處理時間監控,讓逐漸形成的背壓在缺漏出現前就能被看見
成效
移除病態樣式之後,日誌缺漏完全消失,管線吞吐量在相同硬體上提升了數倍。如今佇列深度告警能在 agent 停滯之前許久,就提早揭露壓力。