Présentation
Un acteur du traitement des paiements lançait le repair via une tâche cron qui déclenchait un repair complet sur tous les keyspaces. Les exécutions dépassaient régulièrement la fenêtre gc_grace_seconds, se chevauchaient et étaient interrompues dès qu'elles saturaient les E/S du cluster. Personne n'était capable de dire quand l'anneau avait été entièrement réparé pour la dernière fois. AceMQ a repris le support avec des ingénieurs seniors attitrés.
Défi
Un repair qui ne se termine pas dans gc_grace_seconds n'est pas une simple question de maintenance : cela signifie que des données supprimées peuvent réapparaître une fois que la compaction a éliminé les tombstones sur certains réplicas mais pas sur d'autres. Les repairs complets sur un grand anneau multi-datacenter étaient trop coûteux pour aboutir, et le streaming qu'ils déclenchaient concurrençait directement le trafic de production.
Environnement
Apache Cassandra multi-datacenter réparti entre on-premise et cloud, hébergeant les données du registre des transactions et du règlement.
Approche
AceMQ a remplacé le repair de l'anneau entier par un repair incrémental, segmenté et planifié, dont le rythme s'adapte à la marge disponible du cluster et qui reprend là où il s'est arrêté après une interruption. La stratégie de compaction et les paramètres de débit ont été réglés table par table, pour que repair et compaction cessent de se disputer les mêmes E/S.
Solution
- Remplacement des repairs complets pilotés par cron par un orchestrateur de repairs segmentés et planifiés, qui reprend au lieu de recommencer
- Repair cadencé selon la marge disponible du cluster, pour ne plus saturer les E/S pendant les heures ouvrées
- Stratégie de compaction réglée table par table selon les profils réels de lectures, d'écritures et de suppressions plutôt que sur la valeur par défaut
- Ajustement du débit de compaction et du nombre de compacteurs simultanés en fonction du stockage sous-jacent
- Instrumentation de la durée de repair par keyspace face à gc_grace_seconds, sous forme de métrique suivie et alertable
- Escalade 24/7 vers des ingénieurs Cassandra seniors, sans tri de niveau 1 sur le chemin
Résultat obtenu
Le repair se termine désormais largement dans gc_grace_seconds sur chaque keyspace, et son achèvement est suivi comme une métrique au lieu d'être présumé. Le risque de résurrection que portait le cluster est éliminé, et le repair ne dégrade plus la latence de production pendant son exécution.