Przegląd
Operator energetyczny przechowywał w Druid siedem lat telemetrii liczników i sieci, a każdy segment trzymano na identycznych węzłach historical z tym samym współczynnikiem replikacji niezależnie od wieku danych. Koszt infrastruktury rósł liniowo wraz z retencją, podczas gdy liczba zapytań do starszych danych była znikoma. AceMQ oceniło możliwości podziału na poziomy.
Wyzwanie
Podział na poziomy działa tylko wtedy, gdy zna się rzeczywisty rozkład dostępu, a założenia na jego temat zwykle są błędne — zapytania regulacyjne do starych danych są rzadkie, ale i tak muszą zakończyć się w określonym czasie. Ocena musiała ustalić faktyczne wzorce dostępu według wieku danych, a następnie określić, które konfiguracje poziomów zachowują wymagane zachowanie zapytań przy niższym koszcie.
Środowisko
Apache Druid na sprzęcie lokalnym i w chmurowym magazynie obiektów, przechowujący wieloletnią telemetrię sieci i liczników.
Podejście
AceMQ przeanalizowało logi zapytań, aby zbudować rozkład dostępu według wieku segmentów zamiast polegać na deklarowanych oczekiwaniach, a następnie zamodelowało konfiguracje poziomów zarówno pod kątem kosztów, jak i zachowania zapytań, jakie dałaby każda z nich, w tym czasów odpowiedzi poziomu zimnego przy dostępie regulacyjnym.
Rozwiązanie
- Zbudowanie rozkładu dostępu według wieku segmentów na podstawie rzeczywistych logów zapytań, a nie deklarowanych założeń
- Zamodelowanie gorącego, ciepłego i zimnego poziomu węzłów historical z regułami ładowania dopasowanymi do zmierzonego wzorca dostępu
- Ocena obniżonych współczynników replikacji na poziomach zimnych w odniesieniu do wymagań dostępności i odtwarzania
- Ocena zapytań bezpośrednio z deep storage jako opcji dla najzimniejszych danych wraz z pomiarem charakterystyki odpowiedzi
- Przegląd reguł retencji i usuwania pod kątem regulacyjnych obowiązków przechowywania danych
- Przekazanie modelu kosztów i wydajności dla każdej opcji podziału na poziomy z jasno określonymi kompromisami
Efekt
Operator zyskał plan podziału na poziomy oparty na zmierzonym dostępie, a nie na założeniach, z jasną ścieżką do zmniejszenia liczby węzłów historical przy utrzymaniu zapytań regulacyjnych w wymaganym czasie odpowiedzi. Kompromisy określono z góry, zamiast odkrywać je po wdrożeniu.