Przegląd
Dostawca analityki dla handlu detalicznego w sposób ciągły ładował dane przez Snowpipe do tabel przejściowych, a następnie przekształcał je dalej za pomocą strumieni i zadań. Awarie w tym łańcuchu ujawniały się jako brakujące dane w raportach kilka dni później, a nie jako alerty. AceMQ przejął wsparcie z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.
Wyzwanie
Tryby awarii były ciche, a nie głośne. Strumienie, które stają się nieaktualne po przekroczeniu okna retencji danych, po cichu przestają zwracać dane o zmianach. Łańcuchy zadań zatrzymują się na nieudanym poprzedniku i pozostawiają tabele niższego rzędu nieodświeżone, niczego nie zgłaszając. Błędy ładowania plików przez Snowpipe gromadzą się w historii ładowań, do której nikt nie zagląda. Żadna z tych sytuacji nie generowała alertu.
Środowisko
Snowflake na AWS z ładowaniem przez Snowpipe z magazynu obiektowego, zasilającym łańcuchy transformacji opartych na strumieniach i zadaniach.
Podejście
AceMQ w pierwszej kolejności uwidocznił ciche tryby awarii, bo powtarzające się incydenty były w gruncie rzeczy problemem wykrywania, a nie inżynierii. Następnie skorygowano retencję i projekt zadań, aby takie sytuacje pojawiały się rzadziej, a eskalacja obejmuje przypadki, które nadal wymagają oceny eksperta.
Rozwiązanie
- Monitorowanie nieaktualności strumieni względem okien retencji danych z alertami przed momentem wygaśnięcia
- Monitorowanie wykonania łańcuchów zadań, aby zatrzymany poprzednik generował alert, zamiast po cichu przerywać przetwarzanie
- Przekazywanie błędów z historii ładowań Snowpipe i przypadków częściowego ładowania do istniejącego kanału alertów
- Przegląd i korekta ustawień retencji danych w tabelach zasilających strumienie o długim interwale
- Przebudowa zależności między zadaniami w celu ograniczenia zasięgu skutków awarii pojedynczego zadania
- Eskalacja 24/7 do starszych inżynierów Snowflake z docelowymi czasami reakcji od 15 minut, zależnie od planu
Efekt
Awarie ładowania danych ujawniają się teraz w ciągu kilku minut, zamiast być odkrywane w raportach kilka dni później. Incydenty z nieaktualnymi strumieniami ustały po dopasowaniu retencji do interwałów zadań i uruchomieniu alertów przed wygaśnięciem.