Présentation
Un fournisseur d'énergie conservait sept ans de télémétrie de compteurs et de réseau dans Druid, chaque segment étant hébergé sur des nœuds historicals identiques avec le même facteur de réplication, quel que soit son âge. Le coût de l'infrastructure augmentait proportionnellement à la rétention, alors que le volume de requêtes sur les données anciennes était négligeable. AceMQ a évalué les options de hiérarchisation.
Défi
La hiérarchisation ne fonctionne que si l'on connaît la répartition réelle des accès, et les hypothèses à ce sujet sont généralement fausses : les requêtes réglementaires sur des données anciennes sont rares, mais doivent tout de même aboutir dans un délai défini. L'audit devait établir les profils d'accès réels selon l'âge des données, puis déterminer quelles configurations de hiérarchisation préservaient le comportement de requête requis pour un coût moindre.
Environnement
Apache Druid réparti entre du matériel sur site et du stockage objet dans le cloud, conservant plusieurs années de télémétrie de réseau et de compteurs.
Approche
AceMQ a analysé les logs de requêtes pour établir une répartition des accès selon l'âge des segments, plutôt que de s'appuyer sur les attentes déclarées, puis a modélisé des configurations de hiérarchisation au regard à la fois du coût et du comportement de requête que chacune produirait, y compris les temps de réponse du niveau froid pour les accès réglementaires.
Solution
- Établissement d'une répartition des accès selon l'âge des segments à partir des logs de requêtes réels plutôt que des hypothèses déclarées
- Modélisation de niveaux d'historicals chaud, tiède et froid, avec des load rules calquées sur le profil d'accès mesuré
- Évaluation de facteurs de réplication réduits sur les niveaux froids au regard des exigences de disponibilité et de reprise
- Évaluation de l'interrogation directe du deep storage comme option pour les données les plus froides, avec mesure de ses caractéristiques de réponse
- Revue des règles de rétention et de suppression au regard des obligations réglementaires de conservation
- Livraison d'un modèle de coût et de performance pour chaque option de hiérarchisation, avec des compromis énoncés explicitement
Résultat obtenu
Le fournisseur d'énergie dispose d'un plan de hiérarchisation fondé sur des accès mesurés plutôt que sur des hypothèses, avec une trajectoire claire pour réduire l'empreinte des nœuds historicals tout en maintenant les requêtes réglementaires dans leur fenêtre de réponse requise. Les compromis ont été énoncés d'emblée au lieu d'être découverts après la mise en œuvre.