Retour à tous les cas d'usage

SupportMultisectoriel

Des ingénieurs seniors attitrés d'astreinte pour les incidents de requêtes et de broker Druid

Fournisseur d'analytique pour la distribution

Support continu face aux timeouts du broker et à une latence de requêtes imprévisible, liés au dimensionnement des segments, au comportement du cache et à la contention des threads de traitement.

Présentation

Un fournisseur d'analytique pour la distribution exposait à ses propres clients des tableaux de bord adossés à Druid : la latence des requêtes était donc une caractéristique du produit, pas une préoccupation interne. Les timeouts du broker survenaient de façon imprévisible et l'équipe ne parvenait pas à les reproduire. AceMQ a repris le support avec des ingénieurs seniors attitrés et une escalade directe.

Défi

La latence d'une requête Druid dépend du nombre de segments qu'elle touche, de la qualité de leur dimensionnement, du fait que les résultats proviennent ou non du cache, et de la contention éventuelle des threads de traitement des historicals. Les timeouts étaient corrélés aux datasources dont les segments étaient à la fois trop nombreux et trop petits, si bien que le surcoût par segment l'emportait sur le travail réel. La configuration du cache s'annulait en outre elle-même sur les schémas de requêtes les plus volumineux.

Environnement

Apache Druid sur AWS, au service de tableaux de bord analytiques destinés aux clients, avec des engagements de latence publiés.

Approche

AceMQ a instrumenté le nombre de segments et les temps de scan par requête pour distinguer les requêtes réellement coûteuses de celles qui payaient un surcoût sur des segments fragmentés. Le support a ensuite couvert à la fois la réponse opérationnelle aux timeouts et le travail structurel nécessaire pour cesser d'en produire.

Solution

  1. Instrumentation du nombre de segments et des temps de scan par requête pour séparer le travail réel du surcoût par segment
  2. Identification des datasources aux segments fragmentés et planification d'une compaction pour les ramener dans la plage de taille cible
  3. Réajustement du nombre de threads de traitement des historicals et du dimensionnement des buffers au regard des types d'instances sous-jacents
  4. Correction de la configuration du cache du broker et des historicals, qui s'annulait elle-même sur les schémas à fort volume
  5. Mise en place d'une politique de timeout, de priorité et de laning des requêtes pour que les requêtes ad hoc lourdes ne puissent pas affamer les tableaux de bord
  6. Escalade 24/7 vers des ingénieurs Druid seniors, sans niveau 1 de tri sur le chemin

Résultat obtenu

Les timeouts du broker sont devenus rares et la latence p99 des tableaux de bord a été à peu près divisée par deux à mesure que la fragmentation des segments était résorbée. Le laning des requêtes empêche les analyses ad hoc lourdes d'affecter le parcours client, même lorsqu'elles s'exécutent pendant les heures ouvrées.

Technologies

Apache DruidKafkaKubernetesPrometheus

Besoin d'un support Apache Druid expert ?

Les ingénieurs Apache Druid seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.