Przegląd
Platforma IoT firmy opiera się na RabbitMQ, który obsługuje komunikację dużej floty podłączonych urządzeń, a firma planuje znaczące skalowanie. Cotygodniowe awarie z powodu braku pamięci i wąskie gardła wydajności zagrażały stabilności platformy i planom rozwoju.
Wyzwanie
Węzły RabbitMQ co tydzień ulegały awariom z powodu błędów braku pamięci (out-of-memory), których przyczynami były niewłaściwe podejście do skalowania pionowego, niski prefetch count (ustawiony na 1) i brak konfiguracji TTL na kolejkach. Blokowanie producentów przez wolnych konsumentów wywoływało awarie kaskadowe. Zespół używał kolejek klasycznych bez mirroringu, co narażało go na utratę danych przy awariach węzłów.
Środowisko
Wdrożenie na Kubernetes, RabbitMQ obsługujący dużą liczbę połączeń urządzeń, konsumenci Spring Boot, plany skalowania poziomego z monitoringiem Prometheus/Grafana.
Podejście
AceMQ przeprowadził kilkudniową intensywną naprawę obejmującą przegląd środowiska na żywo, zmiany konfiguracji w czasie rzeczywistym i praktyczną optymalizację wydajności. Zespół przeanalizował metryki, przejrzał topologię i przedstawił szczegółowe rekomendacje architektoniczne dotyczące skalowania.
Rozwiązanie
- Rekomendacja strategii skalowania poziomego (więcej węzłów) zamiast skalowania pionowego
- Zwiększenie prefetch count z 1 do 20, co radykalnie poprawiło przepustowość konsumentów
- Konfiguracja lazy queues ograniczająca blokowanie producentów dzięki zapisowi bezpośrednio na dysk
- Wdrożenie limitów pamięci dla poszczególnych kolejek i polityk TTL zapobiegających awariom OOM
- Podniesienie high water mark z 0.7 do 0.9 w celu lepszego wykorzystania pamięci
- Zaprojektowanie ścieżki migracji z kolejek klasycznych do kolejek kworum (quorum queues) dla wysokiej dostępności
- Dostarczenie kalkulatora wymagań serwerowych w Excelu do planowania pojemności
Efekt
Klient otrzymał zmiany konfiguracji i mapę drogową skalowania, które mają zatrzymać powtarzające się awarie RabbitMQ i poprawić przepustowość konsumentów, oraz ma jasną ścieżkę do obsługi rosnącej liczby urządzeń.