Przegląd
Dostawca analityki dla handlu detalicznego udostępniał własnym klientom dashboardy oparte na Druidzie, więc opóźnienie zapytań było cechą produktu, a nie wewnętrzną sprawą. Timeouty brokera pojawiały się nieprzewidywalnie i nie dawały się odtworzyć mimo prób zespołu. AceMQ przejął wsparcie z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.
Wyzwanie
Opóźnienie zapytań w Druidzie zależy od tego, ilu segmentów dotyka zapytanie, jak dobrze są one zwymiarowane, czy wyniki pochodzą z cache i czy wątki przetwarzania historicali nie są przeciążone. Timeouty korelowały ze źródłami danych, których segmentów było jednocześnie za dużo i były za małe, przez co narzut na segment przeważał nad właściwą pracą. Konfiguracja cache dodatkowo sama się znosiła przy wzorcach zapytań o największym wolumenie.
Środowisko
Apache Druid na AWS obsługujący dashboardy analityczne dla klientów z opublikowanymi oczekiwaniami dotyczącymi opóźnień.
Podejście
AceMQ dodał pomiar liczby segmentów i czasu skanowania dla każdego zapytania, aby odróżnić zapytania naprawdę kosztowne od tych, które płacą narzut za pofragmentowane segmenty. Wsparcie objęło następnie zarówno operacyjną reakcję na timeouty, jak i prace strukturalne potrzebne, by przestały się pojawiać.
Rozwiązanie
- Pomiar liczby segmentów i czasu skanowania dla każdego zapytania, aby oddzielić właściwą pracę od narzutu na segment
- Wskazanie źródeł danych z pofragmentowanymi segmentami i zaplanowanie kompakcji, aby sprowadzić je do docelowego zakresu rozmiarów
- Ponowne dostrojenie liczby wątków przetwarzania i rozmiarów buforów historicali do używanych typów instancji
- Poprawienie konfiguracji cache brokera i historicali, która znosiła się przy wzorcach o dużym wolumenie
- Wprowadzenie polityk timeoutów, priorytetów i laningu zapytań, aby ciężkie zapytania ad hoc nie mogły zagłodzić dashboardów
- Eskalacja 24/7 do starszych inżynierów Druida bez pośrednictwa pierwszej linii wsparcia (tier 1)
Efekt
Timeouty brokera stały się rzadkie, a opóźnienie dashboardów na poziomie p99 spadło mniej więcej o połowę po usunięciu fragmentacji segmentów. Laning zapytań sprawia, że ciężkie analizy ad hoc nie wpływają na ścieżkę obsługującą klientów, nawet gdy są uruchamiane w godzinach pracy.