Przegląd
Firma dostarcza krytyczne systemy zarządzania stanowiskami (gate management) używane na lotniskach na całym świecie. Jej wdrożenie RabbitMQ na Kubernetes doświadczało błędów publikacji, problemów z przełączaniem awaryjnym klastra i problemów z synchronizacją kolejek kworum, które zagrażały dostępności systemu.
Wyzwanie
RabbitMQ działał na współdzielonych węzłach Kubernetes razem z PostgreSQL, co powodowało rywalizację o zasoby. Synchronizacja kolejek kworum zawodziła na pamięci masowej o wydajności 3 000 IOPS, a partycje sieciowe w klastrze powodowały powstawanie „zombie” powiązań i błędy publikacji komunikatów. Zespół musiał przeprowadzić aktualizację do RabbitMQ 4.2, zachowując stabilność w środowiskach Azure i VMware.
Środowisko
Klastry Kubernetes w Azure i VMware, RabbitMQ współdzielący węzły z PostgreSQL, monitoring Prometheus/Grafana, aplikacje klienckie w C i Node.js.
Podejście
AceMQ przeprowadził kilkutygodniową intensywną ocenę z codziennymi sesjami, obejmującą testy wydajności dysków narzędziem FIO, analizę logów konsensusu Raft i zaprojektowanie strategii izolacji infrastruktury. Zespół dostarczył kompleksową dokumentację obejmującą procedury przełączania awaryjnego, monitoring, kopie zapasowe i odtwarzanie oraz federację.
Rozwiązanie
- Oddzielenie RabbitMQ od PostgreSQL na dedykowane węzły z izolowaną pamięcią masową SSD
- Rekomendacja dysków Premium SSD v2 w celu osiągnięcia opóźnień poniżej milisekundy wymaganych przez kolejki kworum
- Opracowanie skryptów automatycznego wykrywania i odtwarzania zablokowanych kolejek kworum oraz „zombie” powiązań
- Konfiguracja metryk Prometheus i alertów w Grafanie do proaktywnego monitorowania kondycji klastra
- Dostarczenie kompleksowego runbooka dla przełączania awaryjnego, kopii zapasowych i odtwarzania oraz operacji federacji
- Prowadzenie ścieżki aktualizacji z RabbitMQ 3.x do 4.2 z weryfikacją stabilności
Efekt
Klient osiągnął stabilną pracę RabbitMQ na Kubernetes dzięki właściwej izolacji zasobów, zautomatyzowanym procedurom odtwarzania i kompleksowemu monitoringowi — zapewniając niezawodną komunikację dla systemów lotniskowych na całym świecie.