Présentation
Une plateforme de paiement a perdu un nœud de données lors d'une panne matérielle, et le cluster n'est jamais revenu au vert. Les shards réplicas sont restés non assignés pendant des jours alors que le trafic de recherche tournait sur une copie unique : l'index n'était plus qu'à une panne d'une véritable perte de données.
Défi
Les nœuds survivants avaient franchi le seuil de disque flood stage : Elasticsearch avait donc posé un bloc read-only-allow-delete sur les index et refusait d'allouer les réplicas manquants. La sortie d'allocation explain désignait bien le watermark, mais l'équipe ne parvenait pas à libérer de l'espace, car le bloc empêchait aussi le nettoyage par delete-by-query qu'elle avait prévu. Pendant ce temps, le translog des index hot continuait de grossir.
Environnement
Cluster Elasticsearch d'environ 20 nœuds de données sur bare metal, avec tiering hot-warm et plusieurs To de données de transactions et d'audit indexées.
Approche
Les ingénieurs AceMQ sont partis de l'API allocation explain plutôt que de faire des suppositions, puis ont réduit la pression sur les disques dans un ordre permettant de lever le bloc en toute sécurité. Nous avons déplacé les index les plus anciens vers le tier warm, effectué un force merge des segments en lecture seule pour récupérer l'espace des documents supprimés, puis levé le bloc et laissé l'allocation reprendre avec un débit de recovery limité, pour que le cluster ne sature pas son propre réseau pendant la reconstruction.
Solution
- Lecture de la sortie cluster allocation explain pour chaque shard non assigné, afin de confirmer que le blocage venait du watermark et non d'une corruption
- Déplacement des index anciens vers les nœuds du tier warm et force merge des index en lecture seule pour récupérer l'espace des documents supprimés
- Levée du bloc read-only-allow-delete uniquement après le rétablissement d'une marge suffisante, pour éviter de franchir à nouveau le flood stage
- Limitation d'indices.recovery.max_bytes_per_sec pendant la reconstruction, pour que la recovery des réplicas ne prive pas de ressources le trafic de requêtes en production
- Définition explicite des watermarks low, high et flood avec une marge réaliste, et ajout d'alertes disque en amont du watermark high
- Documentation du runbook de reprise, pour que l'astreinte du client puisse traiter seule la même situation sans escalade
Résultat obtenu
Le cluster est repassé au vert avec tous les réplicas alloués et sans perte d'index. Comme les alertes de watermark se déclenchent désormais bien avant le flood stage, le client n'a plus rencontré le bloc en lecture seule, et le remplacement d'un nœud est devenu une opération de maintenance courante plutôt qu'un incident.