Überblick
Ein Anbieter von Retail-Analytics stellte seinen eigenen Kunden Dashboards auf Basis von Druid bereit – die Abfragelatenz war damit eine Produkteigenschaft und keine interne Angelegenheit. Broker-Timeouts traten unvorhersehbar auf und ließen sich vom Team trotz aller Versuche nicht reproduzieren. AceMQ übernahm den Support mit namentlich zugeordneten Senior Engineers und direkter Eskalation.
Herausforderung
Die Abfragelatenz in Druid hängt davon ab, wie viele Segmente eine Abfrage berührt, wie gut diese Segmente dimensioniert sind, ob Ergebnisse aus dem Cache kommen und ob es Konkurrenz um die Processing-Threads der Historicals gibt. Die Timeouts korrelierten mit Datasources, deren Segmente zugleich zu zahlreich und zu klein waren – der Overhead pro Segment überwog also die eigentliche Arbeit. Zudem hob sich die Cache-Konfiguration bei den Abfragemustern mit dem höchsten Volumen selbst auf.
Umgebung
Apache Druid auf AWS, das kundenseitige Analytics-Dashboards mit zugesagten Latenzerwartungen bedient.
Vorgehen
AceMQ instrumentierte Segmentanzahl und Scan-Zeiten pro Abfrage, um wirklich teure Abfragen von solchen zu unterscheiden, die Overhead für fragmentierte Segmente zahlten. Der Support umfasste anschließend sowohl die betriebliche Reaktion auf Timeouts als auch die strukturelle Arbeit, die nötig war, damit sie gar nicht erst entstehen.
Lösung
- Segmentanzahl und Scan-Zeiten pro Abfrage instrumentiert, um echte Arbeit vom Overhead pro Segment zu trennen
- Datasources mit fragmentierten Segmenten identifiziert und Compaction eingeplant, um sie in den Zielgrößenbereich zu bringen
- Anzahl der Processing-Threads und Puffergrößen der Historicals auf die zugrunde liegenden Instanztypen neu abgestimmt
- Cache-Konfiguration von Broker und Historicals korrigiert, die sich bei Mustern mit hohem Volumen selbst aufgehoben hatte
- Richtlinien für Abfrage-Timeouts, Prioritäten und Query Laning eingeführt, damit schwere Ad-hoc-Abfragen die Dashboards nicht ausbremsen
- 24/7-Eskalation zu Senior Druid Engineers bereitgestellt, ohne Tier-1-Triage dazwischen
Resultat
Broker-Timeouts wurden zur Seltenheit, und die p99-Latenz der Dashboards halbierte sich ungefähr, nachdem die Fragmentierung der Segmente beseitigt war. Query Laning verhindert, dass schwere Ad-hoc-Analysen den kundenseitigen Pfad beeinträchtigen – selbst wenn sie während der Geschäftszeiten laufen.