Przegląd
Brokery Pulsar potwierdzają zapis, gdy potwierdzi go ack quorum bookie, więc najwolniejszy bookie w każdym ensemble wyznacza dolną granicę opóźnienia. Jeden węzeł z nasyconym urządzeniem journal pogarsza opóźnienie zapisu we wszystkich topikach, których ledgery z niego korzystają. AceMQ izoluje takiego bookie i naprawia układ pamięci masowej pod spodem.
Wyzwanie
Typową pierwotną przyczyną jest umieszczenie danych journal i ledger na jednym urządzeniu. Journal wymaga sekwencyjnego fsync o niskim opóźnieniu; urządzenie ledger obsługuje duże zapisy sekwencyjne i okresową kompakcję. Na jednym dysku rywalizują ze sobą, opóźnienie fsync journala rośnie, a wraz z nim opóźnienie add-entry w całym klastrze. Czynnikami pogłębiającymi są konfiguracja ensemble i quorum bez zapasu na wolny węzeł, zbyt mały write cache oraz garbage collection entry logu konkurujące z bieżącym ruchem.
Środowisko
Apache Pulsar z BookKeeper na Kubernetes lub bare metal, metadane w ZooKeeper lub etcd oraz warstwowy offload do magazynu obiektowego.
Podejście
AceMQ koreluje opóźnienia fsync journala i add-entry poszczególnych bookie z opóźnieniem publikacji po stronie brokera, aby wskazać węzeł wyznaczający dolną granicę, a następnie ustala, czy przyczyną jest rywalizacja o urządzenie, rozmiar cache'u czy kompakcja. Działanie doraźne polega na wyłączeniu tego bookie z nowych ensemble; trwała naprawa rozdziela urządzenia journal i ledger oraz ponownie stroi cache i kompakcję.
Rozwiązanie
- Korelacja opóźnień fsync journala i add-entry poszczególnych bookie z opóźnieniem publikacji na brokerze w celu wskazania węzła ograniczającego
- Rozdzielenie urządzeń journal i ledger z odpowiednimi klasami pamięci masowej i niezależnymi budżetami IOPS
- Dostrojenie rozmiaru write cache, read-ahead cache i pamięci direct do faktycznego zbioru roboczego i sterty JVM
- Korekta progów garbage collection entry logu i kompakcji, aby odzyskiwanie miejsca przestało konkurować z bieżącymi zapisami
- Konfiguracja ensemble, write quorum i ack quorum ustawiona tak, aby tolerować wolny węzeł bez wstrzymywania zapisów
- Weryfikacja procedur autorecovery i wymiany bookie, w tym odtwarzania niedostatecznie zreplikowanych ledgerów
Efekt
Opóźnienie publikacji w całym klastrze wraca do poziomu bazowego po odizolowaniu ograniczającego bookie i poprawieniu układu pamięci masowej, a zmieniona konfiguracja quorum sprawia, że kolejny wolny węzeł obniża wydajność łagodnie, zamiast wstrzymywać cały klaster.