概覽
一家商務平台的 ELK 擷取架構相當脆弱:Elasticsearch 只要變慢,影響就會一路回傳到產生日誌的應用程式。AceMQ 設計了一套具緩衝機制的架構,將日誌產生端與搜尋叢集解耦。
挑戰
Beats 直接將資料送進以同步方式寫入 Elasticsearch 的 Logstash 層,因此任何索引速度下降,都會形成一路傳到日誌產生端的背壓(back-pressure)。叢集維護期間,團隊只能在接受資料遺失與阻斷應用程式之間二選一。此外,每個團隊都有自己的欄位命名方式,要跨服務關聯一筆請求,就得知道同一個識別碼的三種不同名稱,而處理這一切的解析邏輯,全都塞在一份越來越難維護的 Logstash 設定中。
環境
在 Kubernetes 上運作的 ELK,從數十個服務擷取資料,日誌量與參與的團隊數量都持續成長。
做法
我們在資料產生與索引之間加入具持久性的緩衝層,讓兩端可以各自獨立發生故障;將簡單的解析移到原本就該負責的 Elasticsearch ingest pipeline;並統一採用共用結構描述,讓各服務專屬的解析邏輯大多不再需要。整個設計採分階段推動,讓各團隊逐步遷移,而不是一次性切換。
解決方案
- 在傳送端與索引層之間導入具持久性的訊息佇列,讓叢集維護只造成延遲,而不會遺失資料
- 將簡單的解析與資料擴充移至 Elasticsearch ingest pipeline,Logstash 只保留在真正需要其功能的地方
- 為共用欄位採用統一結構描述,跨服務關聯資料時不再需要了解各團隊的欄位命名
- 將各服務的管線定義拆分為有明確負責人、可獨立部署的單元,取代單一龐大的設定檔
- 定義無法投遞(dead letter)處理機制,讓無法解析的事件被保留下來供檢視,而不是遭到丟棄或造成阻塞
- 分階段遷移計畫,讓各團隊逐一遷移服務,並在過渡期間以雙路徑方式運作
成效
Elasticsearch 維護不再影響日誌產生端:緩衝層會吸收維護期間的資料,並在之後消化完畢。將新服務加入管線,也從修改共用設定,變成一次有明確負責人的獨立部署。