概覽
一家零售分析供應商透過 Snowpipe 將資料持續載入暫存資料表,再以 stream 與 task 在下游進行轉換。這條鏈中的失敗並未觸發告警,而是在幾天後以報表資料缺漏的形式浮現。AceMQ 接手技術支援,由專屬資深工程師負責,並提供直接升級管道。
挑戰
這些失敗模式都是悄無聲息的。超過資料保留期限而失效的 stream,會在無聲無息中停止傳回變更資料。task 鏈遇到前置 task 失敗便會停擺,讓下游資料表無法更新,卻不會發出任何訊號。Snowpipe 的檔案載入錯誤則不斷累積在沒人查看的載入歷程中。這些狀況都不會產生任何告警。
環境
部署於 AWS 的 Snowflake,以 Snowpipe 從物件儲存擷取資料,再交由 stream 與 task 轉換鏈處理。
做法
AceMQ 首先讓這些無聲的失敗模式變得可見,因為反覆發生的事故,根本上是偵測問題,而不是工程問題。接著修正資料保留與 task 設計,降低這些狀況發生的頻率,仍需人工判斷的情況則透過升級管道處理。
解決方案
- 依資料保留期限監測 stream 的失效狀態,並在到期之前發出告警
- 加入 task 鏈執行監控,讓停擺的前置 task 會觸發告警,而不是無聲停止
- 將 Snowpipe 載入歷程中的錯誤與部分載入狀況,導入既有的告警管道
- 檢視並修正供應長間隔 stream 之資料表的資料保留設定
- 重新調整 task 相依關係,限縮單一 task 失敗時的影響範圍
- 建立 24/7 升級管道,直通資深 Snowflake 工程師,適用依方案而定、最快 15 分鐘起的回應目標
成效
資料擷取失敗現在幾分鐘內就會浮現,而不是幾天後才在報表中被發現。將資料保留期限與 task 執行間隔對齊,並在到期前觸發告警之後,stream 失效事故便不再發生。