Przegląd
Dostawca analityki medycznej potrzebował długiej historii do planowania pojemności oraz wieloletniej retencji niektórych metryk operacyjnych, ale osiągał to, podłączając do Prometheus bardzo duże wolumeny blokowe. AceMQ zaprojektowało w zamian architekturę opartą na magazynie obiektowym z downsamplingiem.
Wyzwanie
Lokalną retencję ustawiono na znacznie ponad rok, co oznaczało ogromne przydzielone wolumeny na każdą instancję, powolną kompakcję i uciążliwe przenoszenie instancji. Zapytania obejmujące długie zakresy kończyły się przekroczeniem czasu, bo skanowały próbki w pełnej rozdzielczości w całym oknie. Brakowało też rzeczywistej gwarancji trwałości — historia była przechowywana na wolumenach podłączonych do pojedynczych instancji, więc utrata instancji oznaczała utratę danych, których przechowywanie firma zobowiązała się zapewnić.
Środowisko
Prometheus na Kubernetes w wielu kontach AWS, dostępny magazyn obiektowy, regulacyjne wymogi retencji dla części metryk.
Podejście
Rozdzieliliśmy dwa zadania, które powierzono Prometheus: świeże dane w wysokiej rozdzielczości na potrzeby alertów oraz długą historię do planowania i audytu. Prometheus przechowuje krótkie okno lokalnie, a bloki trafiają do magazynu obiektowego, gdzie kompaktor z downsamplingiem tworzy niższe rozdzielczości dla zapytań o długie zakresy. Wymóg retencji jest wtedy egzekwowany przez politykę cyklu życia obiektów, a nie przez konfigurację instancji.
Rozwiązanie
- Skrócenie lokalnej retencji Prometheus do niewielkiego okna, wystarczającego wyłącznie do alertów i bieżącej diagnostyki
- Wysyłanie bloków do magazynu obiektowego z kompaktorem tworzącym rozdzielczości pięciominutowe i godzinowe
- Warstwa zapytań skonfigurowana tak, by automatycznie wybierała odpowiednią rozdzielczość w zależności od żądanego zakresu
- Egzekwowanie wymogów retencji przez reguły cyklu życia obiektów dla poszczególnych prefiksów bucketów, audytowalne niezależnie od Prometheus
- Deduplikacja w wysokodostępnych parach Prometheus, dzięki której zapytania o długie zakresy zwracają jedną spójną serię
- Model kosztów porównujący przydzielony magazyn blokowy z magazynem obiektowym i downsamplingiem przy rzeczywistych wolumenach danych klienta
Efekt
Przydzielony magazyn blokowy na instancję zmniejszył się mniej więcej o rząd wielkości, a roczne zapytania dotyczące pojemności, które wcześniej przekraczały limit czasu, zwracają teraz wyniki w kilka sekund na danych po downsamplingu. Retencję można teraz egzekwować i audytować bez polegania na przetrwaniu którejkolwiek pojedynczej instancji.