Powrót do wszystkich studiów przypadków

Usuwanie problemówGry / rozrywka

Gdy rośnie opóźnienie produkcji p99, w pierwszej kolejności warto sprawdzić rozkład przywództwa

Platforma gier online

Usunięcie skoków opóźnień produkcji i konsumpcji, których przyczyną była nierównowaga przywództwa Raft, nasycenie dysków i rozkład partycji między brokerami.

Przegląd

Grupy Raft tworzone przez Redpandę dla każdej partycji sprawiają, że opóźnienie zależy od rozkładu przywództwa partycji. Gdy liderzy koncentrują się na części brokerów, te węzły się nasycają, podczas gdy reszta klastra jest bezczynna, a opóźnienie ogonowe rośnie na długo, zanim cokolwiek pokaże średnia. AceMQ diagnozuje problem i przywraca równowagę.

Wyzwanie

Skoki opóźnień pojawiają się po restarcie kroczącym, wymianie węzła lub naturalnym wzroście liczby partycji. Przywództwo rozkłada się nierównomiernie, więc kilka brokerów przejmuje nieproporcjonalnie duże obciążenie zapisami. Pod spodem klasa pamięci masowej może nie zapewniać ciągłej przepustowości zapisu, którą zakładał klaster, limity CPU w Kubernetes mogą dławić wątki reaktora, albo liczba partycji topiku może być zbyt mała, by rozłożyć obciążenie niezależnie od przywództwa. Objaw jest w każdym przypadku ten sam.

Środowisko

Klastry Redpanda na Kubernetes lub instancjach chmurowych z lokalnymi dyskami NVMe lub pamięcią masową dołączaną przez sieć, obsługujące producentów wrażliwych na opóźnienia.

Podejście

AceMQ koreluje liczbę przywództw na brokerze, opóźnienie zapisu na dysk i metryki dławienia CPU z percentylami opóźnień, aby ustalić, która warstwa jest faktycznie nasycona. W pierwszej kolejności przywraca się równowagę przywództwa i koryguje przydział partycji, a następnie zajmuje się klasą pamięci masowej i limitami zasobów tam, gdzie ograniczeniem rzeczywiście jest sprzęt.

Rozwiązanie

  1. Analiza liczby przywództw Raft i rozkładu partycji na każdym brokerze w korelacji z percentylami opóźnienia produkcji
  2. Przywrócenie równowagi przywództwa i ponowny przydział partycji w celu równomiernego rozłożenia obciążenia zapisami w klastrze
  3. Weryfikacja opóźnienia zapisu na dysk i ciągłej przepustowości względem faktycznie przydzielonej klasy pamięci masowej
  4. Przegląd limitów CPU w Kubernetes i wątków reaktora w celu wyeliminowania dławienia wątków shardów seastar
  5. Przegląd liczby partycji dla topików, których równoległość jest zbyt niska względem przepustowości niezależnie od rozmieszczenia przywództwa
  6. Dostrojenie ustawień batchingu, linger i potwierdzeń producentów do wymogów trwałości zamiast wartości domyślnych

Efekt

Opóźnienie ogonowe wraca do normy i utrzymuje się w niej także podczas restartów kroczących, ponieważ równoważenie przywództwa jest stosowane jako praktyka operacyjna, a nie jednorazowa poprawka. Tam, gdzie rzeczywistym ograniczeniem była pamięć masowa, rekomendacja dotycząca wymiarowania opiera się na zmierzonej przepustowości.

Technologie

RedpandaKubernetesApache Kafka

Problem produkcyjny z Redpanda?

Starsi inżynierowie Redpanda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.