Überblick
Latenzprobleme bei föderierten Abfragen überschreiten Systemgrenzen und lassen sich deshalb intern schwer zuordnen: Das Trino-Team gibt der Quelle die Schuld, das Team der Quelle gibt Trino die Schuld, und niemand hat das Gesamtbild. AceMQ stellt namentlich zugeordnete Senior Engineers bereit, die beide Seiten verstehen.
Herausforderung
Latenzregressionen in Starburst haben oft Ursachen in der Umgebung statt in der Struktur: Eine Quelldatenbank hat einen Index geändert, Statistiken sind nach einem Bulk Load veraltet, ein Connector-Upgrade hat das Pushdown-Verhalten verändert, oder das Queueing am Coordinator ist gewachsen, weil die Concurrency schleichend gestiegen ist. Im BI-Tool sehen all diese Fälle gleich aus – das Dashboard ist langsam –, und ihre Diagnose erfordert Zugriff und Expertise auf beiden Seiten des Connectors.
Umgebung
Starburst-Enterprise- oder Galaxy-Deployments auf Kubernetes, VMs oder in der Managed Cloud, die mehrere produktive Quellen föderieren.
Vorgehen
Die Engineers von AceMQ werten Query-Event-Historie, Queue-Metriken des Coordinators und Ausführungspläne auf Quellseite gemeinsam aus, damit eine Regression korrekt zugeordnet statt diskutiert wird. Die Sofortmaßnahme kann eine Änderung der Resource Group oder ein Umschreiben der Abfrage sein; die Nacharbeit setzt an den Statistiken, der Connector-Konfiguration oder dem quellseitigen Index an, der die Regression verursacht hat.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Analyse der Query-Event-Historie und der Coordinator-Queue, um langsame Ausführung von Verzögerungen bei der Zulassung zu trennen
- Vergleich der Ausführungspläne auf Quellseite, um festzustellen, ob die Regression in Trino oder im zugrunde liegenden System entstanden ist
- Review von Regressionen durch Connector-Upgrades und Konfigurationsänderungen nach Versionswechseln bei Starburst oder der Quelle
- Prüfung der Aktualität von Statistiken und Zeitplanung von ANALYZE für Tabellen, deren Struktur sich nach Bulk Loads verändert hat
- Anpassung von Concurrency und Resource Groups bei Abfragestürmen aus BI-Tools
Resultat
Latenzregressionen werden schnell dem richtigen System zugeordnet. Das verkürzt die Lösungszeit und beendet die teamübergreifende Pattsituation, die föderierte Abfrageprobleme meist begleitet.