Powrót do wszystkich studiów przypadków

Usuwanie problemówUsługi finansowe / płatności

W Pulsarze jeden przeciążony bookie podnosi opóźnienie zapisu w całym klastrze

Globalny operator płatności

Usunięcie opóźnień zapisu w całym klastrze, spowodowanych rywalizacją o urządzenia journal i ledger na bookie, oraz przywrócenie zapasu dla write quorum.

Przegląd

Brokery Pulsar potwierdzają zapis, gdy potwierdzi go ack quorum bookie, więc najwolniejszy bookie w każdym ensemble wyznacza dolną granicę opóźnienia. Jeden węzeł z nasyconym urządzeniem journal pogarsza opóźnienie zapisu we wszystkich topikach, których ledgery z niego korzystają. AceMQ izoluje takiego bookie i naprawia układ pamięci masowej pod spodem.

Wyzwanie

Typową pierwotną przyczyną jest umieszczenie danych journal i ledger na jednym urządzeniu. Journal wymaga sekwencyjnego fsync o niskim opóźnieniu; urządzenie ledger obsługuje duże zapisy sekwencyjne i okresową kompakcję. Na jednym dysku rywalizują ze sobą, opóźnienie fsync journala rośnie, a wraz z nim opóźnienie add-entry w całym klastrze. Czynnikami pogłębiającymi są konfiguracja ensemble i quorum bez zapasu na wolny węzeł, zbyt mały write cache oraz garbage collection entry logu konkurujące z bieżącym ruchem.

Środowisko

Apache Pulsar z BookKeeper na Kubernetes lub bare metal, metadane w ZooKeeper lub etcd oraz warstwowy offload do magazynu obiektowego.

Podejście

AceMQ koreluje opóźnienia fsync journala i add-entry poszczególnych bookie z opóźnieniem publikacji po stronie brokera, aby wskazać węzeł wyznaczający dolną granicę, a następnie ustala, czy przyczyną jest rywalizacja o urządzenie, rozmiar cache'u czy kompakcja. Działanie doraźne polega na wyłączeniu tego bookie z nowych ensemble; trwała naprawa rozdziela urządzenia journal i ledger oraz ponownie stroi cache i kompakcję.

Rozwiązanie

  1. Korelacja opóźnień fsync journala i add-entry poszczególnych bookie z opóźnieniem publikacji na brokerze w celu wskazania węzła ograniczającego
  2. Rozdzielenie urządzeń journal i ledger z odpowiednimi klasami pamięci masowej i niezależnymi budżetami IOPS
  3. Dostrojenie rozmiaru write cache, read-ahead cache i pamięci direct do faktycznego zbioru roboczego i sterty JVM
  4. Korekta progów garbage collection entry logu i kompakcji, aby odzyskiwanie miejsca przestało konkurować z bieżącymi zapisami
  5. Konfiguracja ensemble, write quorum i ack quorum ustawiona tak, aby tolerować wolny węzeł bez wstrzymywania zapisów
  6. Weryfikacja procedur autorecovery i wymiany bookie, w tym odtwarzania niedostatecznie zreplikowanych ledgerów

Efekt

Opóźnienie publikacji w całym klastrze wraca do poziomu bazowego po odizolowaniu ograniczającego bookie i poprawieniu układu pamięci masowej, a zmieniona konfiguracja quorum sprawia, że kolejny wolny węzeł obniża wydajność łagodnie, zamiast wstrzymywać cały klaster.

Technologie

Apache PulsarApache BookKeeperKubernetesZooKeeper

Problem produkcyjny z Apache Pulsar?

Starsi inżynierowie Apache Pulsar w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.