Powrót do wszystkich studiów przypadków

Ocena środowiskaLotnictwo / technologie lotniskowe

Niezawodna komunikacja dla systemów zarządzania stanowiskami lotniskowymi na całym świecie

Globalny dostawca technologii lotniczych

Diagnozowanie problemów z przełączaniem awaryjnym klastra, obsługą partycji sieciowych i kolejkami kworum w środowisku operacyjnym lotnictwa, w którym stawka jest wysoka.

Analiza przyczyn źródłowych na działającym klastrze

Przegląd

Firma dostarcza krytyczne systemy zarządzania stanowiskami (gate management) używane na lotniskach na całym świecie. Jej wdrożenie RabbitMQ na Kubernetes doświadczało błędów publikacji, problemów z przełączaniem awaryjnym klastra i problemów z synchronizacją kolejek kworum, które zagrażały dostępności systemu.

Wyzwanie

RabbitMQ działał na współdzielonych węzłach Kubernetes razem z PostgreSQL, co powodowało rywalizację o zasoby. Synchronizacja kolejek kworum zawodziła na pamięci masowej o wydajności 3 000 IOPS, a partycje sieciowe w klastrze powodowały powstawanie „zombie” powiązań i błędy publikacji komunikatów. Zespół musiał przeprowadzić aktualizację do RabbitMQ 4.2, zachowując stabilność w środowiskach Azure i VMware.

Środowisko

Klastry Kubernetes w Azure i VMware, RabbitMQ współdzielący węzły z PostgreSQL, monitoring Prometheus/Grafana, aplikacje klienckie w C i Node.js.

Podejście

AceMQ przeprowadził kilkutygodniową intensywną ocenę z codziennymi sesjami, obejmującą testy wydajności dysków narzędziem FIO, analizę logów konsensusu Raft i zaprojektowanie strategii izolacji infrastruktury. Zespół dostarczył kompleksową dokumentację obejmującą procedury przełączania awaryjnego, monitoring, kopie zapasowe i odtwarzanie oraz federację.

Rozwiązanie

  1. Oddzielenie RabbitMQ od PostgreSQL na dedykowane węzły z izolowaną pamięcią masową SSD
  2. Rekomendacja dysków Premium SSD v2 w celu osiągnięcia opóźnień poniżej milisekundy wymaganych przez kolejki kworum
  3. Opracowanie skryptów automatycznego wykrywania i odtwarzania zablokowanych kolejek kworum oraz „zombie” powiązań
  4. Konfiguracja metryk Prometheus i alertów w Grafanie do proaktywnego monitorowania kondycji klastra
  5. Dostarczenie kompleksowego runbooka dla przełączania awaryjnego, kopii zapasowych i odtwarzania oraz operacji federacji
  6. Prowadzenie ścieżki aktualizacji z RabbitMQ 3.x do 4.2 z weryfikacją stabilności

Efekt

Klient osiągnął stabilną pracę RabbitMQ na Kubernetes dzięki właściwej izolacji zasobów, zautomatyzowanym procedurom odtwarzania i kompleksowemu monitoringowi — zapewniając niezawodną komunikację dla systemów lotniskowych na całym świecie.

Technologie

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Czas na przegląd Health Check RabbitMQ?

Starsi inżynierowie RabbitMQ w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.