Przegląd
Zadania Flink przechowujące setki gigabajtów stanu kluczowanego podlegają ograniczeniom operacyjnym, których nie mają małe zadania: restarty zajmują realny czas, zmiany parallelism wymagają redystrybucji savepointów, a źle dobrany klucz sprawia, że stan koncentruje się na kilku task managerach. AceMQ projektuje warstwę stanu tak, aby te ograniczenia pozostawały do opanowania w miarę rozrastania się zadania.
Wyzwanie
Zadania z dużym stanem po cichu stają się niemożliwe do wdrożenia. Savepoint trwa na tyle długo, że rutynowe wdrożenie wymaga okna serwisowego, więc wdrożenia się grupuje, a każde z nich niesie większe ryzyko. Max parallelism pozostawiono na wartości domyślnej, więc zadania nie da się przeskalować ponad stały limit bez pełnej odbudowy stanu. Rozkład key groups jest nierównomierny, bo klucz ma skew, a większość pracy wykonują dwa task managery. Dysk lokalny zwymiarowano pod stan początkowy, a nie obecny.
Środowisko
Apache Flink na Kubernetes ze state backendem RocksDB, dużym stanem kluczowanym oraz checkpointami lub savepointami w magazynie obiektowym.
Podejście
AceMQ profiluje rozmiar i rozkład stanu dla każdej key group i task managera, a następnie projektuje rozwiązanie pod wymagania operacyjne — budżet czasu restartu, oczekiwany zakres parallelism i rytm aktualizacji. Max parallelism i liczbę key groups ustala się pod oczekiwany okres życia zadania, a nie jego obecny rozmiar, a ścieżki odtwarzania są testowane, a nie zakładane.
Rozwiązanie
- Profilowanie rozmiaru stanu i rozkładu key groups dla każdego operatora i task managera w celu ujawnienia skew partycji
- Max parallelism i rozmiar key groups ustawione pod oczekiwany zakres skalowania zadania, a nie jego rozmiar startowy
- Konfiguracja RocksDB obejmująca managed memory, block cache, write buffers, styl kompakcji i układ column families
- Wymiarowanie pamięci lokalnej i dobór klasy dysków pod zbiory robocze RocksDB i staging checkpointów
- Strategia savepointów, zachowywanych checkpointów i lokalnego odtwarzania ze zmierzonymi budżetami czasu restartu
- Runbook przeskalowywania i aktualizacji zweryfikowany próbami, w tym ścieżki ewolucji schematu stanu
Efekt
Czasy restartu i przeskalowania stają się przewidywalne i ograniczone, więc wdrożenia nie wymagają już okna serwisowego. Rozkład stanu wyrównuje się między task managerami, co eliminuje zjawisko gorących węzłów, które ograniczało przepustowość.