Powrót do wszystkich studiów przypadków

Ocena środowiskaEnergetyka / media

Dopasowanie poziomu przechowywania do tego, jak często dane są faktycznie odczytywane

Operator energetyczny

Ocena podziału węzłów historical na poziomy, reguł retencji i współczynników replikacji w celu dopasowania kosztów infrastruktury do tego, jak dane są faktycznie odpytywane w czasie.

Przegląd

Operator energetyczny przechowywał w Druid siedem lat telemetrii liczników i sieci, a każdy segment trzymano na identycznych węzłach historical z tym samym współczynnikiem replikacji niezależnie od wieku danych. Koszt infrastruktury rósł liniowo wraz z retencją, podczas gdy liczba zapytań do starszych danych była znikoma. AceMQ oceniło możliwości podziału na poziomy.

Wyzwanie

Podział na poziomy działa tylko wtedy, gdy zna się rzeczywisty rozkład dostępu, a założenia na jego temat zwykle są błędne — zapytania regulacyjne do starych danych są rzadkie, ale i tak muszą zakończyć się w określonym czasie. Ocena musiała ustalić faktyczne wzorce dostępu według wieku danych, a następnie określić, które konfiguracje poziomów zachowują wymagane zachowanie zapytań przy niższym koszcie.

Środowisko

Apache Druid na sprzęcie lokalnym i w chmurowym magazynie obiektów, przechowujący wieloletnią telemetrię sieci i liczników.

Podejście

AceMQ przeanalizowało logi zapytań, aby zbudować rozkład dostępu według wieku segmentów zamiast polegać na deklarowanych oczekiwaniach, a następnie zamodelowało konfiguracje poziomów zarówno pod kątem kosztów, jak i zachowania zapytań, jakie dałaby każda z nich, w tym czasów odpowiedzi poziomu zimnego przy dostępie regulacyjnym.

Rozwiązanie

  1. Zbudowanie rozkładu dostępu według wieku segmentów na podstawie rzeczywistych logów zapytań, a nie deklarowanych założeń
  2. Zamodelowanie gorącego, ciepłego i zimnego poziomu węzłów historical z regułami ładowania dopasowanymi do zmierzonego wzorca dostępu
  3. Ocena obniżonych współczynników replikacji na poziomach zimnych w odniesieniu do wymagań dostępności i odtwarzania
  4. Ocena zapytań bezpośrednio z deep storage jako opcji dla najzimniejszych danych wraz z pomiarem charakterystyki odpowiedzi
  5. Przegląd reguł retencji i usuwania pod kątem regulacyjnych obowiązków przechowywania danych
  6. Przekazanie modelu kosztów i wydajności dla każdej opcji podziału na poziomy z jasno określonymi kompromisami

Efekt

Operator zyskał plan podziału na poziomy oparty na zmierzonym dostępie, a nie na założeniach, z jasną ścieżką do zmniejszenia liczby węzłów historical przy utrzymaniu zapytań regulacyjnych w wymaganym czasie odpowiedzi. Kompromisy określono z góry, zamiast odkrywać je po wdrożeniu.

Technologie

Apache DruidS3KubernetesPrometheus

Czas na przegląd Health Check Apache Druid?

Starsi inżynierowie Apache Druid w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.