Présentation
Le cluster Druid d'un opérateur de télécommunications avait accumulé des années de télémétrie réseau sans aucune politique de compaction. Le nombre de segments se comptait en millions, la charge du coordinator avait suivi, et chaque requête payait un surcoût proportionnel au nombre de segments plutôt qu'au volume de données. AceMQ a conçu une stratégie de granularité et de compaction.
Défi
L'ingestion en streaming produit naturellement de petits segments, dimensionnés selon la fenêtre d'ingestion et non selon les besoins des requêtes. Sans compaction, ces segments subsistent indéfiniment. La refonte devait choisir des granularités adaptées aux plages temporelles réellement interrogées, définir un partitionnement secondaire améliorant le pruning, et planifier la compaction pour qu'elle ne dispute pas la capacité de tâches à l'ingestion.
Environnement
Cluster Apache Druid on-premise stockant plusieurs années de données de performance réseau et de télémétrie abonnés.
Approche
AceMQ a analysé la distribution des plages temporelles des requêtes pour chaque datasource afin de choisir des granularités de segments correspondant à la façon dont les données étaient réellement interrogées, puis a conçu une auto-compaction avec une réservation explicite de capacité de tâches, pour qu'elle tourne en continu sans priver l'ingestion de ressources.
Solution
- Analyse de la distribution des plages temporelles des requêtes par datasource, pour choisir la granularité des segments sur des faits plutôt que par convention
- Définition d'un partitionnement secondaire sur les dimensions les plus filtrées par les requêtes, pour améliorer le pruning au sein des segments
- Configuration de l'auto-compaction avec des tailles cibles de segments et une capacité de tâches réservée explicitement
- Compaction de l'historique en attente planifiée en phases bornées, pour ne pas submerger le cluster
- Politique de rollup et d'agrégation des métriques définie par datasource, pour réduire la taille des segments lorsque la granularité des requêtes le permet
- Mise en place du nombre de segments et de la taille moyenne des segments par datasource comme métriques d'exploitation suivies
Résultat obtenu
Le nombre de segments a chuté de façon spectaculaire au fil de la compaction de l'historique, et l'auto-compaction le maintient désormais stable à mesure que de nouvelles données arrivent. La charge du coordinator a diminué, et le surcoût des requêtes évolue avec le volume de données et non plus avec le nombre de segments.