Powrót do wszystkich studiów przypadków

Ocena środowiskaPrzemysł / produkcja

Ustalenie, dlaczego widok globalny nie zgadza się z żadnym widokiem lokalnym

Producent systemów automatyki przemysłowej

Ocena topologii federacji Prometheus, która przekroczyła swoje granice, powodując luki i zduplikowane dane między lokalizacjami.

Przegląd

Producent, który uruchamiał Prometheus w każdym zakładzie oraz globalną warstwę federacji, zauważył, że globalne dashboardy nie zgadzają się z lokalnymi. AceMQ oceniło topologię, aby ustalić, czy federacja jest właściwym wzorcem przy tej skali.

Wyzwanie

Federacja hierarchiczna służyła do pobierania surowych serii zamiast agregatów, więc instancja globalna w każdym interwale scrape'owała ogromny ładunek z każdej lokalizacji. Scrape'y regularnie przekraczały timeout i zwracały częściowe dane — stąd rozbieżności między widokiem globalnym a lokalnym. Lokalizacje z niestabilnymi łączami WAN generowały luki, które wyglądały jak przestoje zakładów. Podczas rzeczywistego incydentu produkcyjnego nikt nie wiedział, którym liczbom ufać.

Środowisko

Prometheus w wielu zakładach produkcyjnych z niestabilną łącznością WAN z centralnym środowiskiem obserwowalności.

Podejście

Ocena zmierzyła, ile federacja faktycznie przesyła w stosunku do budżetu timeoutu scrape'owania, co jasno ujawniło problem częściowych scrape'ów. Następnie oceniliśmy, czy wymaganiom klienta lepiej odpowiada remote write z centralnym magazynem niż federacja, i zamodelowaliśmy skutki każdej opcji dla przepustowości łączy i pamięci masowej na podstawie rzeczywistej liczby serii.

Rozwiązanie

  1. Pomiar rozmiaru i czasu trwania ładunku federacji dla każdej lokalizacji i porównanie go ze skonfigurowanym timeoutem scrape'owania
  2. Korelacja incydentów częściowych scrape'ów i luk ze zdarzeniami na łączach WAN w celu oddzielenia problemów sieciowych od konfiguracyjnych
  3. Zaprojektowanie recording rules w każdej lokalizacji, tak aby z zakładu wychodziły wyłącznie agregaty, co zmniejszyło ładunek federacji o rzędy wielkości
  4. Ocena remote write z centralnym magazynem długoterminowym jako alternatywy, z modelem przepustowości i pamięci masowej opartym na rzeczywistej liczbie serii
  5. Określenie zachowania buforowania i ponowień, dzięki któremu awaria WAN skutkuje uzupełnieniem danych (backfill), a nie trwałą luką
  6. Zdefiniowanie retencji dla każdej lokalizacji, dzięki której lokalni inżynierowie zachowują pełną rozdzielczość, nawet gdy do centrum trafiają tylko agregaty

Efekt

Klient przeszedł na recording rules na poziomie lokalizacji oraz remote write, co całkowicie wyeliminowało luki wynikające z częściowych scrape'ów. Dashboardy globalne i lokalne są teraz zgodne, a po awariach WAN dane są uzupełniane, zamiast zostawiać trwałe luki w zapisie.

Technologie

PrometheusGrafanaKubernetesLinux

Czas na przegląd Health Check Prometheus?

Starsi inżynierowie Prometheus w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.