Przegląd
Pulsar oddziela obsługę ruchu od przechowywania danych, co jest źródłem zarówno jego elastyczności operacyjnej, jak i złożoności wymiarowania. Pojemność brokerów, bookie i metadanych skaluje się według różnych parametrów, a większość niedowymiarowanych wdrożeń źle oszacowała warstwę bookie. AceMQ wymiaruje każdą warstwę na podstawie zmierzonych wymagań.
Wyzwanie
Wymiarowanie skupione na tempie komunikatów pomija ograniczenia, które naprawdę decydują. Write quorum mnoży surową pojemność przez współczynnik replikacji, więc retencja zwiększa zapotrzebowanie na dyski bookie znacznie szybciej, niż się oczekuje. Urządzenia dziennika (journal) potrzebują niskich opóźnień fsync, a nie pojemności. Liczba topików i partycji wpływa na obciążenie ZooKeeper lub etcd oraz na pamięć brokerów niezależnie od przepustowości. Geo-replikacja dodaje ruch między regionami, który rzadko jest uwzględniany w budżecie.
Środowisko
Nowe lub rozbudowywane wdrożenia Apache Pulsar na Kubernetes, bare metal lub w infrastrukturze hybrydowej, z warstwowym przenoszeniem danych do magazynu obiektowego.
Podejście
AceMQ wyprowadza wymagania ze zmierzonej lub prognozowanej przepustowości, retencji, trwałości i liczby topików, a następnie wymiaruje każdą warstwę według parametru, który ją ogranicza. Jeśli wdrożenie już istnieje, profilujemy bieżące wykorzystanie, aby oddzielić rzeczywiste limity pojemności od problemów konfiguracyjnych, których dodatkowy sprzęt by nie rozwiązał.
Rozwiązanie
- Wymiarowanie warstwy brokerów według liczby połączeń, liczby topików, przepustowości dystrybucji i roboczego zbioru danych w cache
- Wymiarowanie warstwy bookie z uwzględnieniem write quorum i ack quorum w odniesieniu do retencji, z rozdzieleniem wymagań dla urządzeń journal i ledger
- Wymiarowanie i konfiguracja magazynu metadanych ZooKeeper lub etcd według liczby topików, partycji i ledgerów
- Progi warstwowego przenoszenia danych i wymiarowanie magazynu obiektowego dla topików o długiej retencji
- Topologia geo-replikacji i modelowanie przepustowości między regionami tam, gdzie wymagane jest dostarczanie w wielu regionach
- Rozmieszczenie z uwzględnieniem domen awarii i rack awareness, aby wybór ensemble przetrwał utratę strefy lub szafy
Efekt
Klienci otrzymują wymiarowanie warstwa po warstwie, wyprowadzone z wymagania, które faktycznie ogranicza każdą z nich, zamiast jednej liczby węzłów przeskalowanej z tempa komunikatów. W istniejących wdrożeniach zwykle okazuje się, że co najmniej jeden zgłaszany problem z pojemnością jest problemem konfiguracyjnym, którego dodatkowy sprzęt by nie rozwiązał.