Powrót do wszystkich studiów przypadków

DoradztwoOchrona zdrowia / świadczenia

Wieloletnia historia metryk bez wieloletnich rachunków za magazyn blokowy

Dostawca analityki medycznej

Projekt doradczy obejmujący zaprojektowanie wieloletniej retencji metryk Prometheus z downsamplingiem i magazynem obiektowym w miejsce przewymiarowanych dysków lokalnych.

Przegląd

Dostawca analityki medycznej potrzebował długiej historii do planowania pojemności oraz wieloletniej retencji niektórych metryk operacyjnych, ale osiągał to, podłączając do Prometheus bardzo duże wolumeny blokowe. AceMQ zaprojektowało w zamian architekturę opartą na magazynie obiektowym z downsamplingiem.

Wyzwanie

Lokalną retencję ustawiono na znacznie ponad rok, co oznaczało ogromne przydzielone wolumeny na każdą instancję, powolną kompakcję i uciążliwe przenoszenie instancji. Zapytania obejmujące długie zakresy kończyły się przekroczeniem czasu, bo skanowały próbki w pełnej rozdzielczości w całym oknie. Brakowało też rzeczywistej gwarancji trwałości — historia była przechowywana na wolumenach podłączonych do pojedynczych instancji, więc utrata instancji oznaczała utratę danych, których przechowywanie firma zobowiązała się zapewnić.

Środowisko

Prometheus na Kubernetes w wielu kontach AWS, dostępny magazyn obiektowy, regulacyjne wymogi retencji dla części metryk.

Podejście

Rozdzieliliśmy dwa zadania, które powierzono Prometheus: świeże dane w wysokiej rozdzielczości na potrzeby alertów oraz długą historię do planowania i audytu. Prometheus przechowuje krótkie okno lokalnie, a bloki trafiają do magazynu obiektowego, gdzie kompaktor z downsamplingiem tworzy niższe rozdzielczości dla zapytań o długie zakresy. Wymóg retencji jest wtedy egzekwowany przez politykę cyklu życia obiektów, a nie przez konfigurację instancji.

Rozwiązanie

  1. Skrócenie lokalnej retencji Prometheus do niewielkiego okna, wystarczającego wyłącznie do alertów i bieżącej diagnostyki
  2. Wysyłanie bloków do magazynu obiektowego z kompaktorem tworzącym rozdzielczości pięciominutowe i godzinowe
  3. Warstwa zapytań skonfigurowana tak, by automatycznie wybierała odpowiednią rozdzielczość w zależności od żądanego zakresu
  4. Egzekwowanie wymogów retencji przez reguły cyklu życia obiektów dla poszczególnych prefiksów bucketów, audytowalne niezależnie od Prometheus
  5. Deduplikacja w wysokodostępnych parach Prometheus, dzięki której zapytania o długie zakresy zwracają jedną spójną serię
  6. Model kosztów porównujący przydzielony magazyn blokowy z magazynem obiektowym i downsamplingiem przy rzeczywistych wolumenach danych klienta

Efekt

Przydzielony magazyn blokowy na instancję zmniejszył się mniej więcej o rząd wielkości, a roczne zapytania dotyczące pojemności, które wcześniej przekraczały limit czasu, zwracają teraz wyniki w kilka sekund na danych po downsamplingu. Retencję można teraz egzekwować i audytować bez polegania na przetrwaniu którejkolwiek pojedynczej instancji.

Technologie

PrometheusThanosAmazon S3GrafanaKubernetes

Potrzebują Państwo doradztwa w zakresie architektury Prometheus?

Starsi inżynierowie Prometheus w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.