返回所有使用案例

顧問服務軟體/數位平台

讓下游停滯只造成延遲,而不會導致資料遺失的擷取架構

數位商務平台

以緩衝佇列、ingest node 管線與結構描述標準化為核心,重新設計 ELK 擷取架構的顧問服務專案。

概覽

一家商務平台的 ELK 擷取架構相當脆弱:Elasticsearch 只要變慢,影響就會一路回傳到產生日誌的應用程式。AceMQ 設計了一套具緩衝機制的架構,將日誌產生端與搜尋叢集解耦。

挑戰

Beats 直接將資料送進以同步方式寫入 Elasticsearch 的 Logstash 層,因此任何索引速度下降,都會形成一路傳到日誌產生端的背壓(back-pressure)。叢集維護期間,團隊只能在接受資料遺失與阻斷應用程式之間二選一。此外,每個團隊都有自己的欄位命名方式,要跨服務關聯一筆請求,就得知道同一個識別碼的三種不同名稱,而處理這一切的解析邏輯,全都塞在一份越來越難維護的 Logstash 設定中。

環境

在 Kubernetes 上運作的 ELK,從數十個服務擷取資料,日誌量與參與的團隊數量都持續成長。

做法

我們在資料產生與索引之間加入具持久性的緩衝層,讓兩端可以各自獨立發生故障;將簡單的解析移到原本就該負責的 Elasticsearch ingest pipeline;並統一採用共用結構描述,讓各服務專屬的解析邏輯大多不再需要。整個設計採分階段推動,讓各團隊逐步遷移,而不是一次性切換。

解決方案

  1. 在傳送端與索引層之間導入具持久性的訊息佇列,讓叢集維護只造成延遲,而不會遺失資料
  2. 將簡單的解析與資料擴充移至 Elasticsearch ingest pipeline,Logstash 只保留在真正需要其功能的地方
  3. 為共用欄位採用統一結構描述,跨服務關聯資料時不再需要了解各團隊的欄位命名
  4. 將各服務的管線定義拆分為有明確負責人、可獨立部署的單元,取代單一龐大的設定檔
  5. 定義無法投遞(dead letter)處理機制,讓無法解析的事件被保留下來供檢視,而不是遭到丟棄或造成阻塞
  6. 分階段遷移計畫,讓各團隊逐一遷移服務,並在過渡期間以雙路徑方式運作

成效

Elasticsearch 維護不再影響日誌產生端:緩衝層會吸收維護期間的資料,並在之後消化完畢。將新服務加入管線,也從修改共用設定,變成一次有明確負責人的獨立部署。

技術

ELK StackLogstashKafkaElasticsearchKubernetes

需要 ELK Stack 架構指引嗎?

AceMQ 的資深 ELK Stack 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。