Überblick
Eine Werbebörse war für Gebotsanalysen nahezu in Echtzeit auf Druid angewiesen. Der Lag des Kafka-Supervisors wuchs bei Spitzenlast von Sekunden auf Stunden, sodass die Dashboards der Trader genau dann veraltete Daten zeigten, wenn es darauf ankam. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.
Herausforderung
Der Lag hatte mehrere Ursachen, die sich gegenseitig verstärkten. Die Task Slots der Middle Manager waren erschöpft, weil Ingestion-Tasks lange liefen und Slots belegten, die wartende Tasks benötigten. Die von diesen Tasks erzeugten Segmente waren überdimensioniert, sodass Handoff an den Deep Storage und Laden auf die Historicals langsam waren. Fehlgeschlagene Tasks wurden erneut in denselben ausgelasteten Slot-Pool eingereiht.
Umgebung
Apache Druid auf Kubernetes, das Gebots- und Impression-Streams aus Kafka für Echtzeit-Analysen aufnimmt.
Vorgehen
AceMQ verfolgte die Ingestion-Pipeline von Ende zu Ende – Supervisor, Task-Zuweisung, Segment-Publishing, Handoff und Laden auf die Historicals –, um herauszufinden, wo sich die Zeit tatsächlich aufstaute, statt den Supervisor isoliert zu tunen. Kapazität und Task-Zuschnitt wurden gemeinsam korrigiert, denn wer nur eines davon behebt, verschiebt die Warteschlange lediglich.
Lösung
- Vollständigen Ingestion-Pfad vom Supervisor über den Handoff bis zum Laden auf die Historicals verfolgt, um die eigentliche Verzögerung zu lokalisieren
- Worker-Kapazität der Middle Manager und Zuteilung der Task Slots an den tatsächlichen Bedarf gleichzeitiger Tasks angepasst
- Task-Dauer und Segmentgranularität so angepasst, dass Tasks ihre Slots in einem vorhersehbaren Takt freigeben
- Segmentgrößen korrigiert, damit Handoff und Laden auf die Historicals innerhalb des Ingestion-Fensters abgeschlossen werden
- Kapazität für Streaming-Ingestion von der Kapazität für Batch- und Compaction-Tasks getrennt, damit sie nicht mehr konkurrieren
- Supervisor-Lag, Auslastung der Task Slots und Handoff-Dauer als eigenständige, alarmierbare Signale instrumentiert
Resultat
Der Ingestion-Lag sank wieder in den Sekundenbereich und blieb auch bei Spitzenlast dort. Die Trading-Dashboards zeigen heute aktuelle Daten – genau in den Zeiten, in denen sie tatsächlich genutzt werden.