Powrót do wszystkich studiów przypadków

Usuwanie problemówUsługi finansowe / płatności

Przerwanie pętli, w której backpressure psuje checkpointy, a nieudane checkpointy pogłębiają backpressure

Globalny operator płatności

Rozwiązanie problemu przekroczeń limitu czasu checkpointów przy backpressure, gdy stan RocksDB urósł ponad to, co jest w stanie obsłużyć skonfigurowany interwał checkpointów.

Przegląd

Zadanie Flink pod stałym backpressure nie jest w stanie na czas przeprowadzić barier przez potok, więc checkpointy wygasają. Każde wygaśnięcie oznacza więcej stanu do zapisania przy następnej próbie, aż w końcu zadanie restartuje się ze starego checkpointu i odtwarza tyle danych, że kolejna awaria jest przesądzona. AceMQ przerywa tę pętlę i eliminuje leżący u jej podstaw przyrost stanu.

Wyzwanie

Widocznym objawem jest cotygodniowa lub conocna awaria checkpointu, która przeradza się w pętlę restartów. Pod spodem nakłada się kilka czynników: operator z rosnącym stanem kluczowanym, którego zbiór roboczy RocksDB nie mieści się już w budżecie pamięci zarządzanej, wyrównane bariery zablokowane za wolnym sinkiem oraz interwał i limit czasu checkpointów dobrane wtedy, gdy stan stanowił ułamek obecnego rozmiaru. Samo podniesienie limitu czasu przesuwa awarię w czasie, zamiast ją usunąć.

Środowisko

Apache Flink na Kubernetes lub YARN z backendem stanu RocksDB, checkpointami zapisywanymi do S3 lub HDFS i konsumpcją danych z Kafki.

Podejście

AceMQ rozbija czas trwania checkpointu na fazy synchroniczną, asynchroniczną i wyrównania na podstawie interfejsu Flink i metryk, co pokazuje, czy koszt wynika z rozmiaru stanu, wyrównywania barier, czy ze zdalnego systemu plików. Backpressure jest śledzony aż do konkretnego operatora lub sinka, który go powoduje. Działania naprawcze trafiają następnie w tę właśnie fazę — niewyrównane i przyrostowe checkpointy na koszt wyrównania, strojenie pamięci i kompakcji RocksDB na koszt stanu oraz TTL stanu tam, gdzie stan nigdy nie powinien był tak urosnąć.

Rozwiązanie

  1. Rozbicie czasu trwania checkpointu na fazy sync, async i wyrównania w celu wskazania faktycznego ograniczenia
  2. Śledzenie backpressure aż do konkretnego operatora lub sinka blokującego propagację barier
  3. Włączenie niewyrównanych checkpointów i buffer debloating tam, gdzie dominuje wyrównywanie za wolnymi operatorami
  4. Przyrostowe checkpointy z poprawionym rozmiarem pamięci zarządzanej RocksDB, block cache i write buffer dostosowanym do obecnego rozmiaru stanu
  5. Zastosowanie TTL stanu i polityki czyszczenia dla stanu kluczowanego, który narasta bez ograniczeń
  6. Ponowne dostrojenie interwału checkpointów, limitu czasu i minimalnej przerwy do zmierzonego czasu trwania oraz korekta strategii restartu w celu zatrzymania pętli odtwarzania

Efekt

Powtarzająca się awaria checkpointów zostaje wyeliminowana, a czas trwania checkpointu wraca do stabilnego zakresu z zapasem względem interwału. Zadania przestają wpadać w pętle restartów, ponieważ jeden wolny checkpoint nie przesądza już o niepowodzeniu kolejnego.

Technologie

Apache FlinkApache KafkaRocksDBKubernetes

Problem produkcyjny z Apache Flink?

Starsi inżynierowie Apache Flink w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.