Powrót do wszystkich studiów przypadków

Ocena środowiskaTelekomunikacja

Najpierw warstwa bookie – to tam wdrożenia Pulsar najczęściej zawodzą

Operator telekomunikacyjny

Wymiarowanie brokerów, bookie i metadanych we wdrożeniu Pulsar na podstawie rzeczywistych wymagań dotyczących przepustowości, retencji i trwałości danych.

Przegląd

Pulsar oddziela obsługę ruchu od przechowywania danych, co jest źródłem zarówno jego elastyczności operacyjnej, jak i złożoności wymiarowania. Pojemność brokerów, bookie i metadanych skaluje się według różnych parametrów, a większość niedowymiarowanych wdrożeń źle oszacowała warstwę bookie. AceMQ wymiaruje każdą warstwę na podstawie zmierzonych wymagań.

Wyzwanie

Wymiarowanie skupione na tempie komunikatów pomija ograniczenia, które naprawdę decydują. Write quorum mnoży surową pojemność przez współczynnik replikacji, więc retencja zwiększa zapotrzebowanie na dyski bookie znacznie szybciej, niż się oczekuje. Urządzenia dziennika (journal) potrzebują niskich opóźnień fsync, a nie pojemności. Liczba topików i partycji wpływa na obciążenie ZooKeeper lub etcd oraz na pamięć brokerów niezależnie od przepustowości. Geo-replikacja dodaje ruch między regionami, który rzadko jest uwzględniany w budżecie.

Środowisko

Nowe lub rozbudowywane wdrożenia Apache Pulsar na Kubernetes, bare metal lub w infrastrukturze hybrydowej, z warstwowym przenoszeniem danych do magazynu obiektowego.

Podejście

AceMQ wyprowadza wymagania ze zmierzonej lub prognozowanej przepustowości, retencji, trwałości i liczby topików, a następnie wymiaruje każdą warstwę według parametru, który ją ogranicza. Jeśli wdrożenie już istnieje, profilujemy bieżące wykorzystanie, aby oddzielić rzeczywiste limity pojemności od problemów konfiguracyjnych, których dodatkowy sprzęt by nie rozwiązał.

Rozwiązanie

  1. Wymiarowanie warstwy brokerów według liczby połączeń, liczby topików, przepustowości dystrybucji i roboczego zbioru danych w cache
  2. Wymiarowanie warstwy bookie z uwzględnieniem write quorum i ack quorum w odniesieniu do retencji, z rozdzieleniem wymagań dla urządzeń journal i ledger
  3. Wymiarowanie i konfiguracja magazynu metadanych ZooKeeper lub etcd według liczby topików, partycji i ledgerów
  4. Progi warstwowego przenoszenia danych i wymiarowanie magazynu obiektowego dla topików o długiej retencji
  5. Topologia geo-replikacji i modelowanie przepustowości między regionami tam, gdzie wymagane jest dostarczanie w wielu regionach
  6. Rozmieszczenie z uwzględnieniem domen awarii i rack awareness, aby wybór ensemble przetrwał utratę strefy lub szafy

Efekt

Klienci otrzymują wymiarowanie warstwa po warstwie, wyprowadzone z wymagania, które faktycznie ogranicza każdą z nich, zamiast jednej liczby węzłów przeskalowanej z tempa komunikatów. W istniejących wdrożeniach zwykle okazuje się, że co najmniej jeden zgłaszany problem z pojemnością jest problemem konfiguracyjnym, którego dodatkowy sprzęt by nie rozwiązał.

Technologie

Apache PulsarApache BookKeeperZooKeeperKubernetes

Czas na przegląd Health Check Apache Pulsar?

Starsi inżynierowie Apache Pulsar w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.