Przegląd
Grupy Raft tworzone przez Redpandę dla każdej partycji sprawiają, że opóźnienie zależy od rozkładu przywództwa partycji. Gdy liderzy koncentrują się na części brokerów, te węzły się nasycają, podczas gdy reszta klastra jest bezczynna, a opóźnienie ogonowe rośnie na długo, zanim cokolwiek pokaże średnia. AceMQ diagnozuje problem i przywraca równowagę.
Wyzwanie
Skoki opóźnień pojawiają się po restarcie kroczącym, wymianie węzła lub naturalnym wzroście liczby partycji. Przywództwo rozkłada się nierównomiernie, więc kilka brokerów przejmuje nieproporcjonalnie duże obciążenie zapisami. Pod spodem klasa pamięci masowej może nie zapewniać ciągłej przepustowości zapisu, którą zakładał klaster, limity CPU w Kubernetes mogą dławić wątki reaktora, albo liczba partycji topiku może być zbyt mała, by rozłożyć obciążenie niezależnie od przywództwa. Objaw jest w każdym przypadku ten sam.
Środowisko
Klastry Redpanda na Kubernetes lub instancjach chmurowych z lokalnymi dyskami NVMe lub pamięcią masową dołączaną przez sieć, obsługujące producentów wrażliwych na opóźnienia.
Podejście
AceMQ koreluje liczbę przywództw na brokerze, opóźnienie zapisu na dysk i metryki dławienia CPU z percentylami opóźnień, aby ustalić, która warstwa jest faktycznie nasycona. W pierwszej kolejności przywraca się równowagę przywództwa i koryguje przydział partycji, a następnie zajmuje się klasą pamięci masowej i limitami zasobów tam, gdzie ograniczeniem rzeczywiście jest sprzęt.
Rozwiązanie
- Analiza liczby przywództw Raft i rozkładu partycji na każdym brokerze w korelacji z percentylami opóźnienia produkcji
- Przywrócenie równowagi przywództwa i ponowny przydział partycji w celu równomiernego rozłożenia obciążenia zapisami w klastrze
- Weryfikacja opóźnienia zapisu na dysk i ciągłej przepustowości względem faktycznie przydzielonej klasy pamięci masowej
- Przegląd limitów CPU w Kubernetes i wątków reaktora w celu wyeliminowania dławienia wątków shardów seastar
- Przegląd liczby partycji dla topików, których równoległość jest zbyt niska względem przepustowości niezależnie od rozmieszczenia przywództwa
- Dostrojenie ustawień batchingu, linger i potwierdzeń producentów do wymogów trwałości zamiast wartości domyślnych
Efekt
Opóźnienie ogonowe wraca do normy i utrzymuje się w niej także podczas restartów kroczących, ponieważ równoważenie przywództwa jest stosowane jako praktyka operacyjna, a nie jednorazowa poprawka. Tam, gdzie rzeczywistym ograniczeniem była pamięć masowa, rekomendacja dotycząca wymiarowania opiera się na zmierzonej przepustowości.