Przegląd
Zadanie Flink pod stałym backpressure nie jest w stanie na czas przeprowadzić barier przez potok, więc checkpointy wygasają. Każde wygaśnięcie oznacza więcej stanu do zapisania przy następnej próbie, aż w końcu zadanie restartuje się ze starego checkpointu i odtwarza tyle danych, że kolejna awaria jest przesądzona. AceMQ przerywa tę pętlę i eliminuje leżący u jej podstaw przyrost stanu.
Wyzwanie
Widocznym objawem jest cotygodniowa lub conocna awaria checkpointu, która przeradza się w pętlę restartów. Pod spodem nakłada się kilka czynników: operator z rosnącym stanem kluczowanym, którego zbiór roboczy RocksDB nie mieści się już w budżecie pamięci zarządzanej, wyrównane bariery zablokowane za wolnym sinkiem oraz interwał i limit czasu checkpointów dobrane wtedy, gdy stan stanowił ułamek obecnego rozmiaru. Samo podniesienie limitu czasu przesuwa awarię w czasie, zamiast ją usunąć.
Środowisko
Apache Flink na Kubernetes lub YARN z backendem stanu RocksDB, checkpointami zapisywanymi do S3 lub HDFS i konsumpcją danych z Kafki.
Podejście
AceMQ rozbija czas trwania checkpointu na fazy synchroniczną, asynchroniczną i wyrównania na podstawie interfejsu Flink i metryk, co pokazuje, czy koszt wynika z rozmiaru stanu, wyrównywania barier, czy ze zdalnego systemu plików. Backpressure jest śledzony aż do konkretnego operatora lub sinka, który go powoduje. Działania naprawcze trafiają następnie w tę właśnie fazę — niewyrównane i przyrostowe checkpointy na koszt wyrównania, strojenie pamięci i kompakcji RocksDB na koszt stanu oraz TTL stanu tam, gdzie stan nigdy nie powinien był tak urosnąć.
Rozwiązanie
- Rozbicie czasu trwania checkpointu na fazy sync, async i wyrównania w celu wskazania faktycznego ograniczenia
- Śledzenie backpressure aż do konkretnego operatora lub sinka blokującego propagację barier
- Włączenie niewyrównanych checkpointów i buffer debloating tam, gdzie dominuje wyrównywanie za wolnymi operatorami
- Przyrostowe checkpointy z poprawionym rozmiarem pamięci zarządzanej RocksDB, block cache i write buffer dostosowanym do obecnego rozmiaru stanu
- Zastosowanie TTL stanu i polityki czyszczenia dla stanu kluczowanego, który narasta bez ograniczeń
- Ponowne dostrojenie interwału checkpointów, limitu czasu i minimalnej przerwy do zmierzonego czasu trwania oraz korekta strategii restartu w celu zatrzymania pętli odtwarzania
Efekt
Powtarzająca się awaria checkpointów zostaje wyeliminowana, a czas trwania checkpointu wraca do stabilnego zakresu z zapasem względem interwału. Zadania przestają wpadać w pętle restartów, ponieważ jeden wolny checkpoint nie przesądza już o niepowodzeniu kolejnego.