Powrót do wszystkich studiów przypadków

Wsparcie techniczneProdukcja / motoryzacja

Jedna cicha partycja Kafki może zamrozić każde okno czasu zdarzeń w zadaniu

Dostawca telematyki pojazdów połączonych

Diagnoza okien czasu zdarzeń, które przestają się wyzwalać, ponieważ jedna bezczynna partycja źródłowa wstrzymuje watermark w całym zadaniu.

Przegląd

Watermark we Flink to minimum ze wszystkich kanałów wejściowych, więc jedna partycja, która przestaje produkować rekordy, blokuje watermark i każde okno czasu zdarzeń w dalszej części potoku przestaje się wyzwalać. Zadanie wygląda na zdrowe — bez wyjątków, bez backpressure, rekordy nadal płyną — a wyniki po cichu przestają się pojawiać. AceMQ diagnozuje tę klasę problemów i pokrewne usterki watermarków.

Wyzwanie

Zespoły tracą na tym godziny, bo każdy oczywisty wskaźnik kondycji świeci na zielono. Warianty są podobne i mylące: temat Kafki z nadmiarem partycji, w którym mało obciążone partycje w nocy stają się bezczynne; zbyt hojnie ustawiony limit nieuporządkowania (out-of-orderness), przez który okna wyzwalają się długo po nadejściu danych; strategia watermarków per partycja zastosowana dopiero po rebalansie, przez co gwarancje kolejności przepadają; wreszcie spóźnione rekordy odrzucane bez wyjścia pobocznego (side output), więc nikt nie wie, że brakuje danych.

Środowisko

Zadania Apache Flink konsumujące z Kafki lub Kinesis z semantyką czasu zdarzeń, agregacjami okienkowymi i złączeniami interwałowymi.

Podejście

Inżynierowie AceMQ porównują metryki bieżącego watermarku dla każdego podzadania z aktywnością partycji źródłowych, dzięki czemu zablokowanie przez bezczynne źródło staje się oczywiste w ciągu kilku minut. Następnie strategia watermarków jest przeglądana od początku do końca — gdzie jest przypisywana, czy skonfigurowano bezczynność i czy limit nieuporządkowania odpowiada zmierzonemu opóźnieniu zdarzeń, a nie zgadywaniu.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, przypisani starsi inżynierowie 24/7, bez triażu na poziomie Tier 1
  2. Porównanie metryk watermarku dla każdego podzadania z aktywnością partycji źródłowych w celu wyizolowania blokującego wejścia
  3. Konfiguracja withIdleness w strategii watermarków, dobrana do rzeczywistych okresów ciszy na mało obciążonych partycjach
  4. Limit nieuporządkowania wyznaczony na podstawie zmierzonego opóźnienia czasu zdarzeń, a nie wartości domyślnej
  5. Przeniesienie przypisywania watermarków do konektora źródłowego, aby kolejność per partycja przetrwała rebalans i repartycjonowanie
  6. Dodanie wyjść pobocznych dla spóźnionych rekordów i metryk opóźnień, dzięki czemu cicha utrata danych staje się widoczna

Efekt

Zablokowane okna czasu zdarzeń znów się wyzwalają, a strategia watermarków przestaje zależeć od tego, czy każda partycja jest stale aktywna. Dodanie wyjść pobocznych dla spóźnionych rekordów zwykle ujawnia dodatkową utratę danych, o której zespół wcześniej nie wiedział.

Technologie

Apache FlinkApache KafkaKubernetes

Potrzebują Państwo eksperckiego wsparcia Apache Flink?

Starsi inżynierowie Apache Flink w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.