Powrót do wszystkich studiów przypadków

Usuwanie problemówTelekomunikacja

Skalowanie RabbitMQ do obsługi dużej floty podłączonych urządzeń dla globalnego lidera telekomunikacji

Globalny lider branży telekomunikacyjnej

Wyeliminowanie cotygodniowych awarii RabbitMQ, optymalizacja pod dużą flotę podłączonych urządzeń i zaprojektowanie strategii skalowania poziomego.

Diagnostyka problemów z wydajnością

Przegląd

Platforma IoT firmy opiera się na RabbitMQ, który obsługuje komunikację dużej floty podłączonych urządzeń, a firma planuje znaczące skalowanie. Cotygodniowe awarie z powodu braku pamięci i wąskie gardła wydajności zagrażały stabilności platformy i planom rozwoju.

Wyzwanie

Węzły RabbitMQ co tydzień ulegały awariom z powodu błędów braku pamięci (out-of-memory), których przyczynami były niewłaściwe podejście do skalowania pionowego, niski prefetch count (ustawiony na 1) i brak konfiguracji TTL na kolejkach. Blokowanie producentów przez wolnych konsumentów wywoływało awarie kaskadowe. Zespół używał kolejek klasycznych bez mirroringu, co narażało go na utratę danych przy awariach węzłów.

Środowisko

Wdrożenie na Kubernetes, RabbitMQ obsługujący dużą liczbę połączeń urządzeń, konsumenci Spring Boot, plany skalowania poziomego z monitoringiem Prometheus/Grafana.

Podejście

AceMQ przeprowadził kilkudniową intensywną naprawę obejmującą przegląd środowiska na żywo, zmiany konfiguracji w czasie rzeczywistym i praktyczną optymalizację wydajności. Zespół przeanalizował metryki, przejrzał topologię i przedstawił szczegółowe rekomendacje architektoniczne dotyczące skalowania.

Rozwiązanie

  1. Rekomendacja strategii skalowania poziomego (więcej węzłów) zamiast skalowania pionowego
  2. Zwiększenie prefetch count z 1 do 20, co radykalnie poprawiło przepustowość konsumentów
  3. Konfiguracja lazy queues ograniczająca blokowanie producentów dzięki zapisowi bezpośrednio na dysk
  4. Wdrożenie limitów pamięci dla poszczególnych kolejek i polityk TTL zapobiegających awariom OOM
  5. Podniesienie high water mark z 0.7 do 0.9 w celu lepszego wykorzystania pamięci
  6. Zaprojektowanie ścieżki migracji z kolejek klasycznych do kolejek kworum (quorum queues) dla wysokiej dostępności
  7. Dostarczenie kalkulatora wymagań serwerowych w Excelu do planowania pojemności

Efekt

Klient otrzymał zmiany konfiguracji i mapę drogową skalowania, które mają zatrzymać powtarzające się awarie RabbitMQ i poprawić przepustowość konsumentów, oraz ma jasną ścieżkę do obsługi rosnącej liczby urządzeń.

Technologie

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Problem produkcyjny z RabbitMQ?

Starsi inżynierowie RabbitMQ w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.