Przegląd
Producent, który uruchamiał Prometheus w każdym zakładzie oraz globalną warstwę federacji, zauważył, że globalne dashboardy nie zgadzają się z lokalnymi. AceMQ oceniło topologię, aby ustalić, czy federacja jest właściwym wzorcem przy tej skali.
Wyzwanie
Federacja hierarchiczna służyła do pobierania surowych serii zamiast agregatów, więc instancja globalna w każdym interwale scrape'owała ogromny ładunek z każdej lokalizacji. Scrape'y regularnie przekraczały timeout i zwracały częściowe dane — stąd rozbieżności między widokiem globalnym a lokalnym. Lokalizacje z niestabilnymi łączami WAN generowały luki, które wyglądały jak przestoje zakładów. Podczas rzeczywistego incydentu produkcyjnego nikt nie wiedział, którym liczbom ufać.
Środowisko
Prometheus w wielu zakładach produkcyjnych z niestabilną łącznością WAN z centralnym środowiskiem obserwowalności.
Podejście
Ocena zmierzyła, ile federacja faktycznie przesyła w stosunku do budżetu timeoutu scrape'owania, co jasno ujawniło problem częściowych scrape'ów. Następnie oceniliśmy, czy wymaganiom klienta lepiej odpowiada remote write z centralnym magazynem niż federacja, i zamodelowaliśmy skutki każdej opcji dla przepustowości łączy i pamięci masowej na podstawie rzeczywistej liczby serii.
Rozwiązanie
- Pomiar rozmiaru i czasu trwania ładunku federacji dla każdej lokalizacji i porównanie go ze skonfigurowanym timeoutem scrape'owania
- Korelacja incydentów częściowych scrape'ów i luk ze zdarzeniami na łączach WAN w celu oddzielenia problemów sieciowych od konfiguracyjnych
- Zaprojektowanie recording rules w każdej lokalizacji, tak aby z zakładu wychodziły wyłącznie agregaty, co zmniejszyło ładunek federacji o rzędy wielkości
- Ocena remote write z centralnym magazynem długoterminowym jako alternatywy, z modelem przepustowości i pamięci masowej opartym na rzeczywistej liczbie serii
- Określenie zachowania buforowania i ponowień, dzięki któremu awaria WAN skutkuje uzupełnieniem danych (backfill), a nie trwałą luką
- Zdefiniowanie retencji dla każdej lokalizacji, dzięki której lokalni inżynierowie zachowują pełną rozdzielczość, nawet gdy do centrum trafiają tylko agregaty
Efekt
Klient przeszedł na recording rules na poziomie lokalizacji oraz remote write, co całkowicie wyeliminowało luki wynikające z częściowych scrape'ów. Dashboardy globalne i lokalne są teraz zgodne, a po awariach WAN dane są uzupełniane, zamiast zostawiać trwałe luki w zapisie.