Retour à tous les cas d'usage

ConseilTélécommunications

Une politique de compaction qui maintient le nombre de segments sous contrôle pendant des années

Opérateur de télécommunications

Refonte de la granularité des segments, du partitionnement et de la politique d'auto-compaction pour que le nombre de segments reste maîtrisé à mesure que l'historique s'accumule.

Présentation

Le cluster Druid d'un opérateur de télécommunications avait accumulé des années de télémétrie réseau sans aucune politique de compaction. Le nombre de segments se comptait en millions, la charge du coordinator avait suivi, et chaque requête payait un surcoût proportionnel au nombre de segments plutôt qu'au volume de données. AceMQ a conçu une stratégie de granularité et de compaction.

Défi

L'ingestion en streaming produit naturellement de petits segments, dimensionnés selon la fenêtre d'ingestion et non selon les besoins des requêtes. Sans compaction, ces segments subsistent indéfiniment. La refonte devait choisir des granularités adaptées aux plages temporelles réellement interrogées, définir un partitionnement secondaire améliorant le pruning, et planifier la compaction pour qu'elle ne dispute pas la capacité de tâches à l'ingestion.

Environnement

Cluster Apache Druid on-premise stockant plusieurs années de données de performance réseau et de télémétrie abonnés.

Approche

AceMQ a analysé la distribution des plages temporelles des requêtes pour chaque datasource afin de choisir des granularités de segments correspondant à la façon dont les données étaient réellement interrogées, puis a conçu une auto-compaction avec une réservation explicite de capacité de tâches, pour qu'elle tourne en continu sans priver l'ingestion de ressources.

Solution

  1. Analyse de la distribution des plages temporelles des requêtes par datasource, pour choisir la granularité des segments sur des faits plutôt que par convention
  2. Définition d'un partitionnement secondaire sur les dimensions les plus filtrées par les requêtes, pour améliorer le pruning au sein des segments
  3. Configuration de l'auto-compaction avec des tailles cibles de segments et une capacité de tâches réservée explicitement
  4. Compaction de l'historique en attente planifiée en phases bornées, pour ne pas submerger le cluster
  5. Politique de rollup et d'agrégation des métriques définie par datasource, pour réduire la taille des segments lorsque la granularité des requêtes le permet
  6. Mise en place du nombre de segments et de la taille moyenne des segments par datasource comme métriques d'exploitation suivies

Résultat obtenu

Le nombre de segments a chuté de façon spectaculaire au fil de la compaction de l'historique, et l'auto-compaction le maintient désormais stable à mesure que de nouvelles données arrivent. La charge du coordinator a diminué, et le surcoût des requêtes évolue avec le volume de données et non plus avec le nombre de segments.

Technologies

Apache DruidKafkaLinuxPrometheus

Besoin de conseils en architecture Apache Druid ?

Les ingénieurs Apache Druid seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.