Présentation
Un organisme qui créait des index quotidiens depuis plusieurs années avait accumulé des dizaines de milliers de petits shards. Ajouter du matériel n'apportait plus rien, et les élections de master duraient assez longtemps pour interrompre l'indexation. AceMQ a audité le cluster pour déterminer si le problème relevait de la capacité ou de la conception.
Défi
Chaque index quotidien recevait le nombre de shards par défaut, qu'il contienne quelques mégaoctets ou des centaines de gigaoctets. Le cluster state qui en résultait était si volumineux que la publication d'une mise à jour vers tous les nœuds prenait plusieurs secondes, que les tâches en attente s'empilaient derrière, et que tout basculement du master se transformait en panne de plusieurs minutes. Personne n'osait modifier le template d'index, faute de savoir quelles recherches en aval dépendaient du nommage existant des index.
Environnement
Cluster Elasticsearch on-premise, index quotidiens basés sur le temps avec une rétention pluriannuelle, charges mixtes de recherche dans les logs et dans les documents.
Approche
L'audit inventorie le nombre de shards et la distribution de leur taille par modèle d'index, mesure la taille du cluster state et la latence de sa publication, et cartographie les index réellement interrogés. Nous distinguons les index à restructurer de ceux qu'il suffit d'agréger (rollup) ou de supprimer, et livrons un plan séquencé que le client peut exécuter lors de ses opérations de maintenance habituelles.
Solution
- Inventaire complet des shards par modèle d'index, avec la distribution des tailles, montrant quels modèles produisent des shards bien trop petits ou trop gros
- Mesure de la taille du cluster state et de la latence de publication, pour quantifier directement la surcharge du master
- Cartographie du trafic de requêtes par index, pour que les décisions de rétention reposent sur des faits et non sur des hypothèses de politique
- Recommandation d'une taille cible des shards et d'une stratégie de rollover via ILM, avec des conditions fondées sur la taille et sur l'âge
- Plan de remédiation séquencé couvrant les étapes de shrink, de reindex et de rollup, dans un ordre qui maintient la recherche disponible tout du long
- Modèle de capacité montrant ce dont le cluster a réellement besoin après consolidation, pour éviter un achat de matériel inutile
Résultat obtenu
Le nombre de shards a chuté de façon spectaculaire une fois les index quotidiens consolidés et les données anciennes agrégées, ramenant le temps de publication du cluster state à une fraction de ce qu'il était. Le basculement du master est devenu un non-événement, et l'extension matérielle prévue a été reportée.