概覽
一家商務平台的可觀測性帳單成長速度比流量還快,主要原因是沒有人檢視過的自訂指標。AceMQ 協助他們了解資料量從哪裡來,並建立在新服務上線後依然有效的控管機制。
挑戰
自訂指標的計費取決於不重複的 tag 組合,而好幾個團隊把部署識別碼、pod 名稱與客戶識別碼都加成了 tag。在變動頻繁的部署上,一個帶有 pod 名稱 tag 的指標,就會產生數量驚人、卻從來沒有任何儀表板查詢過的計費序列。日誌擷取也有同樣的問題,只是形式不同:一個話很多的框架所產生的 debug 等級日誌,佔了索引量的很大比例,卻從來沒有被搜尋過。
環境
在多帳號 AWS 環境中使用 Datadog,包含 Kubernetes 工作負載、高頻率部署與多個產品團隊。
做法
我們不負責維運廠商平台,而是協助客戶控管送往平台的資料。這次合作依來源量化資料量、確認哪些遙測資料確實被查詢,再於發送層與收集層實作控管,避免削減成果在下一次部署時悄悄恢復原狀。
解決方案
- 將自訂指標資料量歸屬到具體的指標與 tag key,依計費序列的貢獻度排序
- 交叉比對查詢使用情況,找出從未被查詢、可以安全捨棄的指標與 tag
- 制定 tag 治理原則:數值無上限的識別碼應放在日誌或 trace 中,絕不放在指標 tag 中
- 在收集層套用指標與 tag 過濾,讓規則不論應用程式發出什麼都能落實
- 拆分日誌索引政策,讓量大、價值低的日誌得以保留,但不建立搜尋索引
- 修訂 trace 取樣策略,完整保留錯誤與緩慢的 trace,並對例行的成功請求進行取樣
成效
計費的自訂指標量減少約一半,且沒有失去任何儀表板或告警涵蓋範圍;索引的日誌量也以相近幅度下降。由於過濾機制位於收集層,即使有團隊新增高基數 tag,也不會再造成帳單上的意外。