Przegląd
Operator płatności nie mógł restartować Prometheus w godzinach pracy, bo odtwarzanie trwało na tyle długo, że powstawała znacząca luka w monitoringu. Przez to rutynowe instalowanie poprawek stało się problemem harmonogramowym. AceMQ zapewnia stałe wsparcie obejmujące zachowanie przy restartach, retencję i dostępność samej ścieżki metryk.
Wyzwanie
Każda instancja Prometheus miała bardzo dużą liczbę aktywnych serii, więc odtwarzanie WAL przy starcie trwało długo, a do jego zakończenia instancja nie obsługiwała żadnych zapytań. Każda eksmisja węzła, przeładowanie konfiguracji wymagające restartu czy aktualizacja wersji powodowały ślepą plamkę, której zespół ds. ryzyka nie akceptował w godzinach handlu. Oczywiste obejście – uruchomienie drugiej repliki – zostało już wypróbowane, ale dawało niespójne wyniki zapytań, bo repliki nie były deduplikowane.
Środowisko
Pary Prometheus w każdym regionie na Kubernetes z długoterminowym magazynem danych, duża liczba aktywnych serii, regulowane okna zmian.
Podejście
Ślepą plamkę zlikwidowaliśmy z dwóch stron: zmniejszając samą pracę przy odtwarzaniu i sprawiając, że restart jest niewidoczny dla odpytujących. Ograniczenie liczby serii przez relabeling bezpośrednio skróciło odtwarzanie. Dodanie właściwej deduplikacji replik przed parą oznaczało, że jedna instancja może się restartować, podczas gdy druga obsługuje zapytania – co zamieniło restarty w zwykłe operacje.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i starszymi inżynierami, którzy znają topologię każdego regionu
- Ograniczenie liczby serii przez odrzucanie nieużywanych metryk regułami relabel i konsolidację zdublowanych eksporterów
- Wysokodostępne pary Prometheus za deduplikującą warstwą zapytań, dzięki której jedna instancja może się restartować w sposób niezauważalny
- Strojenie retencji i czasu trwania bloków w celu zmniejszenia rozmiaru WAL i skrócenia odtwarzania bez utraty zakresu zapytań
- Udokumentowane i przećwiczone procedury restartu, aktualizacji i przeładowania konfiguracji w ramach regulowanego okna zmian
- Cykliczny przegląd przyrostu serii, aby czas odtwarzania pozostał ograniczony w miarę dołączania nowych usług
Efekt
Restarty nie powodują już widocznej luki w monitoringu, a instalowanie poprawek z zaplanowanej akcji po godzinach stało się rutynową operacją kroczącą. Sam czas odtwarzania spadł o znacznie ponad połowę po odrzuceniu nieużywanych serii.