Présentation
Les problèmes de latence des requêtes fédérées franchissent les frontières entre systèmes, ce qui les rend difficiles à prendre en charge en interne : l'équipe Trino accuse la source, l'équipe de la source accuse Trino, et personne n'a la vue d'ensemble. AceMQ fournit des ingénieurs seniors attitrés capables de lire les deux côtés.
Défi
Les régressions de latence dans Starburst sont souvent liées à l'environnement plutôt qu'à la structure : une base source a changé un index, des statistiques sont devenues obsolètes après un chargement massif, une mise à niveau de connecteur a modifié le comportement de pushdown, ou la file d'attente du coordinateur s'est allongée parce que la concurrence a progressivement augmenté. Vus depuis l'outil de BI, tous ces cas se ressemblent (le tableau de bord est lent), et leur diagnostic exige des accès et une expertise des deux côtés du connecteur.
Environnement
Déploiements Starburst Enterprise ou Galaxy sur Kubernetes, sur VM ou en cloud managé, fédérant plusieurs sources de production.
Approche
Les ingénieurs AceMQ croisent l'historique des événements de requêtes, les métriques de file d'attente du coordinateur et les plans d'exécution côté source, afin qu'une régression soit attribuée correctement au lieu d'être débattue. La mitigation immédiate peut être un changement de resource group ou une réécriture de requête ; le suivi traite ensuite les statistiques, la configuration du connecteur ou l'index côté source qui en est la cause.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
- Analyse de l'historique des événements de requêtes et de la file d'attente du coordinateur pour distinguer la lenteur d'exécution du délai d'admission
- Comparaison des plans côté source pour déterminer si la régression vient de Trino ou du système sous-jacent
- Revue des régressions de mise à niveau et de configuration des connecteurs après un changement de version de Starburst ou de la source
- Contrôle de la fraîcheur des statistiques et planification d'ANALYZE pour les tables dont la forme a changé après des chargements massifs
- Ajustement de la concurrence et des resource groups face aux rafales de requêtes des outils de BI
Résultat obtenu
Les régressions de latence sont rapidement attribuées au bon système, ce qui raccourcit la résolution et met fin au bras de fer entre équipes qui accompagne habituellement les problèmes de requêtes fédérées.