Na tej stronie
Czym jest health check lub audyt RabbitMQ?
Co sprawdza health check?
- Topologia klastra i kondycja węzłów. Liczba węzłów, ich rozmieszczenie między hostami lub strefami dostępności, wykorzystanie dysku i pamięci na każdym węźle oraz to, czy rozkład liderów kolejek kworum (quorum queues) jest zrównoważony.
- Konfiguracja i typy kolejek. Czy dla obciążeń wymagających wysokiej dostępności używane są kolejki kworum, czy klasyczne, czy wciąż istnieją klasyczne kolejki lustrzane, jakie są wzorce głębokości kolejek i opóźnienie konsumentów.
- Konfiguracja bezpieczeństwa. Usunięcie lub zmiana domyślnych danych logowania, włączony TLS, izolacja hostów wirtualnych, odpowiednio zawężone uprawnienia użytkowników i logowanie audytowe.
- Wydajność i równoważenie obciążenia. Jak połączenia rozkładają się między węzłami, czy kontrola przepływu wydawców uruchamia się przy normalnym obciążeniu oraz jak konfiguracja prefetch ma się do rzeczywistej przepustowości konsumentów.
- Dobór zasobów. Czy przydział pamięci i dysku na węzłach odpowiada bieżącej głębokości kolejek i tempu komunikatów oraz czy zostawia zapas na nagłe skoki ruchu.
- Wersje Erlanga i RabbitMQ. Czy bieżąca wersja mieści się w oknie wsparcia społeczności, jak wygląda ścieżka aktualizacji i czy dotyczą jej znane podatności CVE.
- Konfiguracja operacyjna. Ustawienia heartbeatów, konfiguracja limitów czasu TCP, polityki trwałości, konfiguracja kolejek dead-letter i TTL komunikatów.
Pięć problemów, które audyty wykrywają niemal zawsze
/var/lib/rabbitmq), to jedna z najczęstszych przyczyn niewyjaśnionego spadku wydajności. Rozwiązanie jest proste — wyłączyć te katalogi ze skanowania — ale często się je przeoczy.guest albo użytkownicy administracyjni z szerokimi uprawnieniami pojawiają się w audytach częściej, niż zespoły się spodziewają. Często nie jest też wdrożona izolacja hostów wirtualnych.Co dalej: projektowanie docelowej architektury RabbitMQ, a jeśli środowisko obejmuje rozwiązania kilku dostawców — konsolidacja wsparcia infrastruktury.
Co otrzymują Państwo na zakończenie audytu?
- Jasny opis każdego ustalenia i wyjaśnienie, dlaczego ma znaczenie
- Konkretne kroki naprawcze — nie ogólnikowe zalecenia, lecz faktyczne zmiany konfiguracji lub działania, które trzeba wykonać
- Kolejność usuwania problemów ustaloną według ryzyka i nakładu pracy
- Rekomendację ścieżki aktualizacji (jeśli dotyczy bieżącej wersji)
- Podsumowanie bieżącej kondycji klastra, które można przekazać kierownictwu
Czy audyt ma sens, jeśli wdrożenie wydaje się stabilne?
Co audyt wykrywa najczęściej
W ponad 130 projektach korporacyjnych w 26 krajach wciąż powracają te same ustalenia. Większość z nich jest tania w naprawie, gdy już zostaną nazwane, i większość pozostaje niewidoczna, dopóki coś się nie zepsuje. Oto te, które opisujemy najczęściej.
- Klasyczne kolejki lustrzane wciąż używane przed przejściem na 4.x. Mirroring kolejek klasycznych usunięto w RabbitMQ 4.0, więc klaster, który wciąż opiera się na politykach ha-mode, nie ma ścieżki aktualizacji, dopóki te kolejki nie zostaną przeniesione. Kolejki lustrzane mają też najsłabsze zachowanie w razie awarii spośród dostępnych typów. Rozwiązaniem jest migracja kolejka po kolejce do kolejek kworum, a dla nielicznych obciążeń wymagających ponownego odtwarzania — do strumieni. Nasze porównanie kolejek klasycznych i kolejek kworum pokazuje, gdzie sprawdza się każdy z typów.
- Brak potwierdzeń wydawcy (publisher confirms) w przepływach, które nie mogą tracić komunikatów. Bez potwierdzeń wydawca traktuje udany zapis TCP jako dostarczenie, a komunikaty po cichu znikają podczas awarii węzła lub alarmu pamięci. Najczęściej widzimy to w przepływach zamówień, płatności i rozliczeń, czyli dokładnie tam, gdzie nie można sobie na to pozwolić. Rozwiązaniem jest tryb potwierdzeń na tych kanałach z ponowieniem po nack — zwykle to niewielka zmiana w kodzie.
- Nieograniczone kolejki bez limitu długości i TTL. Kolejka bez max-length i bez TTL rośnie, aż wywoła alarm pamięci lub dysku, a wtedy blokowany jest każdy wydawca w klastrze, nie tylko ten, który ją zasila. Rozwiązaniem jest polityka ustawiająca max-length lub TTL komunikatów, z zachowaniem przy przepełnieniu uzgodnionym z właścicielem aplikacji.
- Prefetch pozostawiony na wartości domyślnej lub nieograniczony. Nieograniczony prefetch pozwala jednemu konsumentowi wciągnąć kolejkę do własnej pamięci, podczas gdy pozostali są bezczynni, a awaria konsumenta zamienia się w masowe ponowne dostarczanie. Rozwiązaniem jest wartość prefetch dopasowana do czasu przetwarzania przez konsumenta, zwykle od 10 do kilkuset.
- Jedna gorąca kolejka obsługująca większość ruchu. Kolejka działa jako jeden proces Erlanga na jednym węźle, więc pojedyncza kolejka przenosząca większość przepustowości klastra ogranicza cały klaster do jednego rdzenia. Rozwiązaniem jest podział na kilka kolejek z routingiem consistent-hash lub direct albo strumień, jeśli konsumenci mogą pracować w modelu opartym na offsetach.
- Feature flags nigdy niewłączone po aktualizacjach. Feature flags sterują formatami danych na dysku i komunikacji między węzłami. W klastrach aktualizowanych przez kilka wersji minor flagi często pozostają wyłączone, co wprost blokuje kolejną aktualizację major. Rozwiązaniem jest włączenie wszystkich stabilnych flag, gdy każdy węzeł działa na tej samej wersji, i potwierdzenie tego przed zaplanowaniem przejścia z 3.x na 4.x.
- Wersja Erlanga poza macierzą wsparcia. Każde wydanie RabbitMQ wspiera wąski zakres wersji Erlang/OTP, a niewspierane połączenie to pierwsza rzecz, którą trzeba poprawić w każdym zgłoszeniu do wsparcia. Rozwiązaniem jest dopasowanie Erlanga do docelowej wersji RabbitMQ, zwykle w tym samym oknie serwisowym co aktualizacja brokera.
- Brak konsumenta lub alertu dla kolejek dead-letter. Exchange'e dead-letter są zwykle skonfigurowane. Brakuje czegokolwiek, co by je odczytywało. Komunikaty gromadzą się miesiącami, a pierwszy raz ktoś zagląda do nich w trakcie incydentu. Rozwiązaniem jest konsument albo przynajmniej alert na głębokość kolejki dead-letter, jak opisujemy w naszym przewodniku po kolejkach dead-letter.
- Alarmy, których nikt nie obserwuje. Alarmy pamięci i dysku się uruchamiają, wydawcy są blokowani, a zespół dowiaduje się o tym od strony aplikacji. Rozwiązaniem jest kierowanie zdarzeń alarmów i niedostępności węzłów do systemu, którym zespół już powiadamia dyżurnych, z progami zostawiającymi czas na reakcję.
- Definicje nigdy nieeksportowane. Exchange'e, kolejki, powiązania, użytkownicy i polityki istnieją tylko wewnątrz działającego klastra, więc odbudowa po katastrofie oznacza odtwarzanie wszystkiego z pamięci. Rozwiązaniem jest cykliczny eksport definicji do systemu kontroli wersji, który przy okazji uwidacznia rozbieżności między środowiskami.
Jak przebiega projekt i co Państwo otrzymują
Health check to projekt o stałym zakresie, z określonym początkiem i końcem. Przebiega w czterech krokach.
- Spotkanie otwierające i dostęp. Krótka rozmowa, aby uzgodnić zakres, wskazać osoby kontaktowe i skonfigurować dostęp tylko do odczytu do interfejsu zarządzania i metryk. Na żadnym etapie projektu nic na klastrze nie jest zmieniane.
- Od jednego do dwóch tygodni zbierania danych i wywiadów. Pobieramy definicje, polityki, metryki węzłów i kolejek, logi oraz informacje o wersjach, a także rozmawiamy z osobami odpowiedzialnymi za platformę i działające na niej aplikacje. Wywiady są ważne, bo metryki pokazują, co klaster robi, a nie co powinien robić.
- Omówienie ustaleń z zespołem. Zanim raport zostanie sfinalizowany, przechodzimy z klientem przez ustalenia, weryfikujemy każde z nich z wiedzą zespołu i wspólnie ustalamy kolejność priorytetów.
- Pisemny raport. Zawiera ustalenia uszeregowane według priorytetów z oceną wagi każdego z nich, plan naprawczy, który zespół może zrealizować bez nas, ocenę pojemności i wersji oraz rekomendację „go/no-go” dla kolejnej aktualizacji. Plan naprawczy ma postać uporządkowanych zadań z uzasadnieniem każdego z nich, a nie listy dobrych praktyk.
Po stronie klienta potrzebujemy jednego właściciela platformy, jednego właściciela aplikacji i dostępu do zarządzania tylko do odczytu. Łączny koszt czasowy po stronie klienta to kilka godzin: spotkanie otwierające, jeden lub dwa wywiady i omówienie ustaleń.
Po otrzymaniu raportu są dwie drogi. Zespół realizuje plan we własnym tempie albo realizuje go AceMQ w ramach projektu doradztwa RabbitMQ lub w ramach umowy wsparcia, która na przyszłość zapewnia też reakcję na P1 w 15 minut. Żadna z tych opcji nie jest z góry zakładana. Przegląd architektury przez partnera to normalna praktyka w przypadku tak centralnego systemu i nie zobowiązuje do niczego więcej. Zespoły, które przed rozpoczęciem chcą zobaczyć, jak wygląda solidny stan docelowy, mogą zapoznać się z naszym przewodnikiem po produkcyjnej architekturze RabbitMQ.
Aby zamówić wersję prowadzoną przez inżyniera lub zacząć od bezpłatnego raportu samoobsługowego, prosimy odwiedzić stronę usługi RabbitMQ Health Check.
FAQ
Czy partner RabbitMQ może przejrzeć naszą architekturę?
Tak. Przegląd architektury to rdzeń health checku RabbitMQ i od niego zaczyna się większość współpracy z AceMQ. Jako wyłączny strategiczny partner MSP firmy Broadcom w zakresie RabbitMQ przeglądamy klastry w dowolnej wersji od 3.8.x do 4.x, on-premises lub w dowolnej chmurze, korzystając wyłącznie z dostępu tylko do odczytu. Przegląd obejmuje topologię, typy kolejek, polityki, zachowanie klientów, monitoring i gotowość do aktualizacji, a kończy się pisemnym raportem, który pozostaje własnością zespołu. Nie wymaga umowy wsparcia i do niczego nie zobowiązuje.
Czy potrzebujemy doradztwa w zakresie architektury RabbitMQ?
Nie zawsze. Jeśli klaster działa na wspieranej wersji, typy kolejek pasują do obciążeń, potwierdzenia i prefetch są ustawione świadomie, a ktoś obserwuje alarmy, prawdopodobnie wszystko jest w porządku. Jeśli którakolwiek z tych kwestii jest niewiadomą albo zbliża się aktualizacja do 4.x i nikt nie potrafi powiedzieć, czy klaster jest na nią gotowy, health check tanio odpowiada na to pytanie. Większości zespołów sam audyt wystarcza, a tylko część decyduje się na szerszy projekt doradczy.
Ile trwa health check RabbitMQ?
Dla typowego środowiska od dwóch do trzech tygodni od początku do końca. Spotkanie otwierające i nadanie dostępu zajmują dzień lub dwa, zbieranie danych i wywiady trwają od jednego do dwóch tygodni, a omówienie wniosków i pisemny raport następują w ciągu kilku dni. Większe środowiska z wieloma klastrami lub kilkoma środowiskami wymagają więcej czasu, o czym informujemy w wycenie. Zaangażowanie czasowe po stronie klienta to kilka godzin w trakcie całego projektu. Trwająca awaria jest najpierw obsługiwana w ramach wsparcia, z reakcją na P1 w 15 minut, a audyt następuje po ustabilizowaniu klastra.
Ile kosztuje audyt RabbitMQ?
Zakres zależy od liczby klastrów i liczby środowisk, a wycenę przedstawiamy w ciągu 24 godzin od rozmowy o zakresie. Zwykle jest to najtańszy rodzaj projektu w ofercie AceMQ, ponieważ zakres jest stały, na klastrze nic nie jest zmieniane, a rezultatem jest raport, a nie wdrożenie. Działania naprawcze, jeśli chcą Państwo, abyśmy je przeprowadzili, wyceniamy osobno w ramach doradztwa lub wsparcia — wiele zespołów realizuje plan samodzielnie.