Retour à tous les cas d'usage

SupportÉnergie / services publics

Des ingénieurs Trino seniors d'astreinte quand les requêtes fédérées ne tiennent plus leurs performances

Société de trading d'énergie

Support assuré par des ingénieurs attitrés pour les régressions de latence Starburst et Trino, les défaillances de connecteurs et les problèmes de concurrence en production.

Présentation

Les problèmes de latence des requêtes fédérées franchissent les frontières entre systèmes, ce qui les rend difficiles à prendre en charge en interne : l'équipe Trino accuse la source, l'équipe de la source accuse Trino, et personne n'a la vue d'ensemble. AceMQ fournit des ingénieurs seniors attitrés capables de lire les deux côtés.

Défi

Les régressions de latence dans Starburst sont souvent liées à l'environnement plutôt qu'à la structure : une base source a changé un index, des statistiques sont devenues obsolètes après un chargement massif, une mise à niveau de connecteur a modifié le comportement de pushdown, ou la file d'attente du coordinateur s'est allongée parce que la concurrence a progressivement augmenté. Vus depuis l'outil de BI, tous ces cas se ressemblent (le tableau de bord est lent), et leur diagnostic exige des accès et une expertise des deux côtés du connecteur.

Environnement

Déploiements Starburst Enterprise ou Galaxy sur Kubernetes, sur VM ou en cloud managé, fédérant plusieurs sources de production.

Approche

Les ingénieurs AceMQ croisent l'historique des événements de requêtes, les métriques de file d'attente du coordinateur et les plans d'exécution côté source, afin qu'une régression soit attribuée correctement au lieu d'être débattue. La mitigation immédiate peut être un changement de resource group ou une réécriture de requête ; le suivi traite ensuite les statistiques, la configuration du connecteur ou l'index côté source qui en est la cause.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
  2. Analyse de l'historique des événements de requêtes et de la file d'attente du coordinateur pour distinguer la lenteur d'exécution du délai d'admission
  3. Comparaison des plans côté source pour déterminer si la régression vient de Trino ou du système sous-jacent
  4. Revue des régressions de mise à niveau et de configuration des connecteurs après un changement de version de Starburst ou de la source
  5. Contrôle de la fraîcheur des statistiques et planification d'ANALYZE pour les tables dont la forme a changé après des chargements massifs
  6. Ajustement de la concurrence et des resource groups face aux rafales de requêtes des outils de BI

Résultat obtenu

Les régressions de latence sont rapidement attribuées au bon système, ce qui raccourcit la résolution et met fin au bras de fer entre équipes qui accompagne habituellement les problèmes de requêtes fédérées.

Technologies

StarburstTrinoApache HiveKubernetes

Besoin d'un support Starburst expert ?

Les ingénieurs Starburst seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.