Przegląd
Watermark we Flink to minimum ze wszystkich kanałów wejściowych, więc jedna partycja, która przestaje produkować rekordy, blokuje watermark i każde okno czasu zdarzeń w dalszej części potoku przestaje się wyzwalać. Zadanie wygląda na zdrowe — bez wyjątków, bez backpressure, rekordy nadal płyną — a wyniki po cichu przestają się pojawiać. AceMQ diagnozuje tę klasę problemów i pokrewne usterki watermarków.
Wyzwanie
Zespoły tracą na tym godziny, bo każdy oczywisty wskaźnik kondycji świeci na zielono. Warianty są podobne i mylące: temat Kafki z nadmiarem partycji, w którym mało obciążone partycje w nocy stają się bezczynne; zbyt hojnie ustawiony limit nieuporządkowania (out-of-orderness), przez który okna wyzwalają się długo po nadejściu danych; strategia watermarków per partycja zastosowana dopiero po rebalansie, przez co gwarancje kolejności przepadają; wreszcie spóźnione rekordy odrzucane bez wyjścia pobocznego (side output), więc nikt nie wie, że brakuje danych.
Środowisko
Zadania Apache Flink konsumujące z Kafki lub Kinesis z semantyką czasu zdarzeń, agregacjami okienkowymi i złączeniami interwałowymi.
Podejście
Inżynierowie AceMQ porównują metryki bieżącego watermarku dla każdego podzadania z aktywnością partycji źródłowych, dzięki czemu zablokowanie przez bezczynne źródło staje się oczywiste w ciągu kilku minut. Następnie strategia watermarków jest przeglądana od początku do końca — gdzie jest przypisywana, czy skonfigurowano bezczynność i czy limit nieuporządkowania odpowiada zmierzonemu opóźnieniu zdarzeń, a nie zgadywaniu.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, przypisani starsi inżynierowie 24/7, bez triażu na poziomie Tier 1
- Porównanie metryk watermarku dla każdego podzadania z aktywnością partycji źródłowych w celu wyizolowania blokującego wejścia
- Konfiguracja withIdleness w strategii watermarków, dobrana do rzeczywistych okresów ciszy na mało obciążonych partycjach
- Limit nieuporządkowania wyznaczony na podstawie zmierzonego opóźnienia czasu zdarzeń, a nie wartości domyślnej
- Przeniesienie przypisywania watermarków do konektora źródłowego, aby kolejność per partycja przetrwała rebalans i repartycjonowanie
- Dodanie wyjść pobocznych dla spóźnionych rekordów i metryk opóźnień, dzięki czemu cicha utrata danych staje się widoczna
Efekt
Zablokowane okna czasu zdarzeń znów się wyzwalają, a strategia watermarków przestaje zależeć od tego, czy każda partycja jest stale aktywna. Dodanie wyjść pobocznych dla spóźnionych rekordów zwykle ujawnia dodatkową utratę danych, o której zespół wcześniej nie wiedział.