Retour à tous les cas d'usage

SupportServices financiers / paiements

Des repairs qui vont jusqu'au bout, selon un calendrier que vous pouvez prouver

Acteur mondial du traitement des paiements

Support continu d'un repair anti-entropie qui ne se terminait jamais dans la fenêtre gc_grace_seconds, exposant le cluster à la résurrection de données supprimées.

Présentation

Un acteur du traitement des paiements lançait le repair via une tâche cron qui déclenchait un repair complet sur tous les keyspaces. Les exécutions dépassaient régulièrement la fenêtre gc_grace_seconds, se chevauchaient et étaient interrompues dès qu'elles saturaient les E/S du cluster. Personne n'était capable de dire quand l'anneau avait été entièrement réparé pour la dernière fois. AceMQ a repris le support avec des ingénieurs seniors attitrés.

Défi

Un repair qui ne se termine pas dans gc_grace_seconds n'est pas une simple question de maintenance : cela signifie que des données supprimées peuvent réapparaître une fois que la compaction a éliminé les tombstones sur certains réplicas mais pas sur d'autres. Les repairs complets sur un grand anneau multi-datacenter étaient trop coûteux pour aboutir, et le streaming qu'ils déclenchaient concurrençait directement le trafic de production.

Environnement

Apache Cassandra multi-datacenter réparti entre on-premise et cloud, hébergeant les données du registre des transactions et du règlement.

Approche

AceMQ a remplacé le repair de l'anneau entier par un repair incrémental, segmenté et planifié, dont le rythme s'adapte à la marge disponible du cluster et qui reprend là où il s'est arrêté après une interruption. La stratégie de compaction et les paramètres de débit ont été réglés table par table, pour que repair et compaction cessent de se disputer les mêmes E/S.

Solution

  1. Remplacement des repairs complets pilotés par cron par un orchestrateur de repairs segmentés et planifiés, qui reprend au lieu de recommencer
  2. Repair cadencé selon la marge disponible du cluster, pour ne plus saturer les E/S pendant les heures ouvrées
  3. Stratégie de compaction réglée table par table selon les profils réels de lectures, d'écritures et de suppressions plutôt que sur la valeur par défaut
  4. Ajustement du débit de compaction et du nombre de compacteurs simultanés en fonction du stockage sous-jacent
  5. Instrumentation de la durée de repair par keyspace face à gc_grace_seconds, sous forme de métrique suivie et alertable
  6. Escalade 24/7 vers des ingénieurs Cassandra seniors, sans tri de niveau 1 sur le chemin

Résultat obtenu

Le repair se termine désormais largement dans gc_grace_seconds sur chaque keyspace, et son achèvement est suivi comme une métrique au lieu d'être présumé. Le risque de résurrection que portait le cluster est éliminé, et le repair ne dégrade plus la latence de production pendant son exécution.

Technologies

Apache CassandraReaperPrometheusKubernetes

Besoin d'un support Apache Cassandra expert ?

Les ingénieurs Apache Cassandra seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.