Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Przypisani starsi inżynierowie pod telefonem przy incydentach zapytań i brokerów Druida

Dostawca analityki dla handlu detalicznego

Stałe wsparcie w przypadku timeoutów brokera i nieprzewidywalnych opóźnień zapytań wynikających z rozmiaru segmentów, działania cache i rywalizacji o wątki przetwarzania.

Przegląd

Dostawca analityki dla handlu detalicznego udostępniał własnym klientom dashboardy oparte na Druidzie, więc opóźnienie zapytań było cechą produktu, a nie wewnętrzną sprawą. Timeouty brokera pojawiały się nieprzewidywalnie i nie dawały się odtworzyć mimo prób zespołu. AceMQ przejął wsparcie z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.

Wyzwanie

Opóźnienie zapytań w Druidzie zależy od tego, ilu segmentów dotyka zapytanie, jak dobrze są one zwymiarowane, czy wyniki pochodzą z cache i czy wątki przetwarzania historicali nie są przeciążone. Timeouty korelowały ze źródłami danych, których segmentów było jednocześnie za dużo i były za małe, przez co narzut na segment przeważał nad właściwą pracą. Konfiguracja cache dodatkowo sama się znosiła przy wzorcach zapytań o największym wolumenie.

Środowisko

Apache Druid na AWS obsługujący dashboardy analityczne dla klientów z opublikowanymi oczekiwaniami dotyczącymi opóźnień.

Podejście

AceMQ dodał pomiar liczby segmentów i czasu skanowania dla każdego zapytania, aby odróżnić zapytania naprawdę kosztowne od tych, które płacą narzut za pofragmentowane segmenty. Wsparcie objęło następnie zarówno operacyjną reakcję na timeouty, jak i prace strukturalne potrzebne, by przestały się pojawiać.

Rozwiązanie

  1. Pomiar liczby segmentów i czasu skanowania dla każdego zapytania, aby oddzielić właściwą pracę od narzutu na segment
  2. Wskazanie źródeł danych z pofragmentowanymi segmentami i zaplanowanie kompakcji, aby sprowadzić je do docelowego zakresu rozmiarów
  3. Ponowne dostrojenie liczby wątków przetwarzania i rozmiarów buforów historicali do używanych typów instancji
  4. Poprawienie konfiguracji cache brokera i historicali, która znosiła się przy wzorcach o dużym wolumenie
  5. Wprowadzenie polityk timeoutów, priorytetów i laningu zapytań, aby ciężkie zapytania ad hoc nie mogły zagłodzić dashboardów
  6. Eskalacja 24/7 do starszych inżynierów Druida bez pośrednictwa pierwszej linii wsparcia (tier 1)

Efekt

Timeouty brokera stały się rzadkie, a opóźnienie dashboardów na poziomie p99 spadło mniej więcej o połowę po usunięciu fragmentacji segmentów. Laning zapytań sprawia, że ciężkie analizy ad hoc nie wpływają na ścieżkę obsługującą klientów, nawet gdy są uruchamiane w godzinach pracy.

Technologie

Apache DruidKafkaKubernetesPrometheus

Potrzebują Państwo eksperckiego wsparcia Apache Druid?

Starsi inżynierowie Apache Druid w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.