Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / płatności

Warto zaprojektować warstwę stanu, zanim stanie się powodem, dla którego nie da się wdrażać

Platforma wykrywania oszustw online

Projekt state backendu, partycjonowania kluczy i strategii przeskalowywania dla zadań Flink z dużym stanem, które muszą się restartować bez wielogodzinnych przestojów.

Przegląd

Zadania Flink przechowujące setki gigabajtów stanu kluczowanego podlegają ograniczeniom operacyjnym, których nie mają małe zadania: restarty zajmują realny czas, zmiany parallelism wymagają redystrybucji savepointów, a źle dobrany klucz sprawia, że stan koncentruje się na kilku task managerach. AceMQ projektuje warstwę stanu tak, aby te ograniczenia pozostawały do opanowania w miarę rozrastania się zadania.

Wyzwanie

Zadania z dużym stanem po cichu stają się niemożliwe do wdrożenia. Savepoint trwa na tyle długo, że rutynowe wdrożenie wymaga okna serwisowego, więc wdrożenia się grupuje, a każde z nich niesie większe ryzyko. Max parallelism pozostawiono na wartości domyślnej, więc zadania nie da się przeskalować ponad stały limit bez pełnej odbudowy stanu. Rozkład key groups jest nierównomierny, bo klucz ma skew, a większość pracy wykonują dwa task managery. Dysk lokalny zwymiarowano pod stan początkowy, a nie obecny.

Środowisko

Apache Flink na Kubernetes ze state backendem RocksDB, dużym stanem kluczowanym oraz checkpointami lub savepointami w magazynie obiektowym.

Podejście

AceMQ profiluje rozmiar i rozkład stanu dla każdej key group i task managera, a następnie projektuje rozwiązanie pod wymagania operacyjne — budżet czasu restartu, oczekiwany zakres parallelism i rytm aktualizacji. Max parallelism i liczbę key groups ustala się pod oczekiwany okres życia zadania, a nie jego obecny rozmiar, a ścieżki odtwarzania są testowane, a nie zakładane.

Rozwiązanie

  1. Profilowanie rozmiaru stanu i rozkładu key groups dla każdego operatora i task managera w celu ujawnienia skew partycji
  2. Max parallelism i rozmiar key groups ustawione pod oczekiwany zakres skalowania zadania, a nie jego rozmiar startowy
  3. Konfiguracja RocksDB obejmująca managed memory, block cache, write buffers, styl kompakcji i układ column families
  4. Wymiarowanie pamięci lokalnej i dobór klasy dysków pod zbiory robocze RocksDB i staging checkpointów
  5. Strategia savepointów, zachowywanych checkpointów i lokalnego odtwarzania ze zmierzonymi budżetami czasu restartu
  6. Runbook przeskalowywania i aktualizacji zweryfikowany próbami, w tym ścieżki ewolucji schematu stanu

Efekt

Czasy restartu i przeskalowania stają się przewidywalne i ograniczone, więc wdrożenia nie wymagają już okna serwisowego. Rozkład stanu wyrównuje się między task managerami, co eliminuje zjawisko gorących węzłów, które ograniczało przepustowość.

Technologie

Apache FlinkRocksDBApache KafkaKubernetes

Potrzebują Państwo doradztwa w zakresie architektury Apache Flink?

Starsi inżynierowie Apache Flink w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.