Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Przywrócenie ingestii w czasie rzeczywistym do budżetu opóźnień

Giełda reklamy cyfrowej

Rozwiązanie problemu opóźnienia supervisora Kafka spowodowanego wyczerpaniem slotów zadań, zbyt dużymi zadaniami ingestii i nieudanym przekazywaniem segmentów do deep storage.

Przegląd

Giełda reklamowa opierała się na Druid w analityce ofert w czasie zbliżonym do rzeczywistego. Opóźnienie supervisora Kafka rosło w szczycie ruchu z sekund do godzin, więc dashboardy, na których polegali traderzy, pokazywały nieaktualne dane dokładnie wtedy, gdy miało to największe znaczenie. AceMQ podjęło działania w ramach SLA dla zgłoszeń awaryjnych.

Wyzwanie

Opóźnienie miało kilka nakładających się źródeł. Sloty zadań na Middle Managerach były wyczerpane, ponieważ zadania ingestii działały długo i blokowały sloty potrzebne zadaniom oczekującym. Segmenty generowane przez te zadania były zbyt duże, więc przekazanie do deep storage i ładowanie na węzły historical przebiegało powoli. Nieudane zadania ponawiano w tej samej przeciążonej puli slotów.

Środowisko

Apache Druid na Kubernetes przyjmujący strumienie ofert i wyświetleń z Kafki na potrzeby analityki w czasie rzeczywistym.

Podejście

AceMQ prześledziło potok ingestii od początku do końca — supervisor, przydział zadań, publikację segmentów, przekazanie i ładowanie na węzły historical — aby znaleźć miejsce, w którym faktycznie narasta czas, zamiast stroić sam supervisor w oderwaniu od reszty. Pojemność i kształt zadań poprawiono jednocześnie, ponieważ naprawa jednego bez drugiego jedynie przenosi kolejkę w inne miejsce.

Rozwiązanie

  1. Prześledzenie pełnej ścieżki ingestii od supervisora przez przekazanie aż po ładowanie na węzły historical w celu zlokalizowania rzeczywistego opóźnienia
  2. Ponowne zrównoważenie pojemności workerów Middle Manager i przydziału slotów zadań względem faktycznego zapotrzebowania na współbieżne zadania
  3. Korekta czasu trwania zadań i granularności segmentów, aby zadania zwalniały sloty w przewidywalnym rytmie
  4. Poprawa rozmiaru segmentów, aby przekazanie i ładowanie na węzły historical kończyło się w oknie ingestii
  5. Oddzielenie pojemności dla ingestii strumieniowej od pojemności dla zadań wsadowych i kompakcji, aby przestały ze sobą rywalizować
  6. Instrumentacja opóźnienia supervisora, wykorzystania slotów zadań i czasu przekazania jako odrębnych sygnałów z alertami

Efekt

Opóźnienie ingestii wróciło do zakresu sekund i utrzymało się na tym poziomie w szczycie ruchu. Dashboardy traderów pokazują teraz aktualne dane w okresach, w których są faktycznie używane.

Technologie

Apache DruidKafkaKubernetesPrometheus

Problem produkcyjny z Apache Druid?

Starsi inżynierowie Apache Druid w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.