Retour à tous les cas d'usage

RemédiationIndustrie / automobile

Corriger le modèle d'accès, pas seulement relever le seuil de tombstones

Fournisseur de télématique pour véhicules connectés

Résolution de timeouts de lecture causés par l'accumulation de tombstones sur des partitions utilisées comme file d'attente, où les suppressions allaient plus vite que la compaction et gc_grace_seconds.

Présentation

Un fournisseur de télématique utilisait une table Cassandra comme file d'attente de traitement, en écrivant des lignes puis en les supprimant une fois traitées. Les lectures ont commencé à expirer, les coordinateurs devant parcourir des dizaines de milliers de tombstones pour renvoyer une poignée de lignes vivantes. AceMQ a été sollicité dans le cadre du SLA d'urgence.

Défi

Les tombstones restent lisibles jusqu'à l'expiration de gc_grace_seconds et leur suppression par la compaction, un mécanisme qui sert à empêcher des données supprimées de ressusciter sur un nœud qui aurait manqué la suppression. Les repairs n'allaient plus jusqu'au bout sur l'anneau : abaisser gc_grace_seconds comportait donc un risque réel de résurrection. L'équipe relevait les seuils d'avertissement et d'échec sur les tombstones, ce qui masquait le symptôme pendant que le coût sous-jacent des parcours continuait d'augmenter.

Environnement

Cluster Apache Cassandra multi-datacenter sur bare metal, ingérant de la télémétrie de véhicules à fort volume.

Approche

AceMQ a séparé le travail de soulagement immédiat de la correction durable. Obtenir des repairs qui aboutissent de façon fiable était le préalable à toute modification de gc_grace_seconds, et la refonte du modèle de données était indispensable, car une file d'attente sur une partition large génère des tombstones plus vite que la compaction ne peut les éliminer, quels que soient les réglages.

Solution

  1. Identification des partitions et des formes de requêtes précises qui parcouraient le plus de tombstones
  2. Rétablissement de repairs aboutissant de façon fiable sur tout l'anneau, préalable indispensable avant de toucher à gc_grace_seconds
  3. Abandon du modèle de partition large pour la charge de type file d'attente, au profit de partitions découpées par tranches de temps avec expiration par TTL
  4. Passage des tables concernées à une stratégie de compaction adaptée au profil d'écritures et de suppressions
  5. Retour aux seuils de tombstones d'origine pour que le problème redevienne visible au lieu d'être masqué
  6. Compaction ciblée pour éliminer le stock existant de tombstones pendant une fenêtre maîtrisée

Résultat obtenu

Les timeouts de lecture sur les tables concernées ont cessé, et la latence de lecture au p99 a nettement baissé à mesure que le nombre de tombstones parcourues diminuait de plusieurs ordres de grandeur. Les repairs aboutissent désormais dans les délais prévus, ce qui a aussi éliminé le risque de résurrection que le client portait sans le savoir.

Technologies

Apache CassandraKubernetesPrometheusLinux

Confronté à un incident de production Apache Cassandra ?

Les ingénieurs Apache Cassandra seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.