Przegląd
Giełda reklamowa opierała się na Druid w analityce ofert w czasie zbliżonym do rzeczywistego. Opóźnienie supervisora Kafka rosło w szczycie ruchu z sekund do godzin, więc dashboardy, na których polegali traderzy, pokazywały nieaktualne dane dokładnie wtedy, gdy miało to największe znaczenie. AceMQ podjęło działania w ramach SLA dla zgłoszeń awaryjnych.
Wyzwanie
Opóźnienie miało kilka nakładających się źródeł. Sloty zadań na Middle Managerach były wyczerpane, ponieważ zadania ingestii działały długo i blokowały sloty potrzebne zadaniom oczekującym. Segmenty generowane przez te zadania były zbyt duże, więc przekazanie do deep storage i ładowanie na węzły historical przebiegało powoli. Nieudane zadania ponawiano w tej samej przeciążonej puli slotów.
Środowisko
Apache Druid na Kubernetes przyjmujący strumienie ofert i wyświetleń z Kafki na potrzeby analityki w czasie rzeczywistym.
Podejście
AceMQ prześledziło potok ingestii od początku do końca — supervisor, przydział zadań, publikację segmentów, przekazanie i ładowanie na węzły historical — aby znaleźć miejsce, w którym faktycznie narasta czas, zamiast stroić sam supervisor w oderwaniu od reszty. Pojemność i kształt zadań poprawiono jednocześnie, ponieważ naprawa jednego bez drugiego jedynie przenosi kolejkę w inne miejsce.
Rozwiązanie
- Prześledzenie pełnej ścieżki ingestii od supervisora przez przekazanie aż po ładowanie na węzły historical w celu zlokalizowania rzeczywistego opóźnienia
- Ponowne zrównoważenie pojemności workerów Middle Manager i przydziału slotów zadań względem faktycznego zapotrzebowania na współbieżne zadania
- Korekta czasu trwania zadań i granularności segmentów, aby zadania zwalniały sloty w przewidywalnym rytmie
- Poprawa rozmiaru segmentów, aby przekazanie i ładowanie na węzły historical kończyło się w oknie ingestii
- Oddzielenie pojemności dla ingestii strumieniowej od pojemności dla zadań wsadowych i kompakcji, aby przestały ze sobą rywalizować
- Instrumentacja opóźnienia supervisora, wykorzystania slotów zadań i czasu przekazania jako odrębnych sygnałów z alertami
Efekt
Opóźnienie ingestii wróciło do zakresu sekund i utrzymało się na tym poziomie w szczycie ruchu. Dashboardy traderów pokazują teraz aktualne dane w okresach, w których są faktycznie używane.