Retour à tous les cas d'usage

AuditSecteur public / défense

Une vision claire de la marge disponible, des risques et de ce qui lâchera en premier

Organisme public

Audit couvrant la topologie, la configuration de la réplication et de la cohérence, le comportement de la JVM et du garbage collector, la santé de la compaction et la marge de croissance.

Présentation

Un organisme public exploitait un cluster Cassandra hérité d'une mission de prestataire achevée des années plus tôt. La documentation était maigre et l'équipe d'exploitation n'avait jamais disposé d'un état de référence. AceMQ a évalué le cluster au regard de sa charge actuelle et de la croissance prévue.

Défi

Auditer un cluster hérité, c'est faire la part entre les choix de conception délibérés et les accidents accumulés. Il fallait confronter le facteur de réplication et les niveaux de cohérence à la durabilité dont l'organisme avait réellement besoin, vérifier la répartition des tokens pour détecter les points chauds, et mesurer le comportement de la JVM et du garbage collector sous charge réelle, plutôt que de le déduire des paramètres.

Environnement

Cluster Apache Cassandra on-premise supportant des charges de gestion de dossiers et de conservation des archives.

Approche

AceMQ a collecté des éléments factuels sur le cluster en fonctionnement (propriété des tokens, répartition de la charge par nœud, distribution des pauses du garbage collector, retard de compaction et files de tâches en attente) et les a évalués au regard des exigences de durabilité et de disponibilité de l'organisme. Les constats ont été classés selon leur proximité avec un incident.

Solution

  1. Vérification de la propriété des tokens et de la répartition de la charge par nœud pour repérer les points chauds et les nœuds déséquilibrés
  2. Revue du facteur de réplication et des niveaux de cohérence au regard des exigences de durabilité réelles de l'organisme
  3. Mesure de la distribution des pauses du garbage collector et du comportement du heap sous charge de production
  4. Évaluation du retard de compaction, des tâches en attente et du nombre de SSTables par table pour mesurer la dette accumulée
  5. Évaluation de la couverture des repairs et de leur historique d'exécution au regard de gc_grace_seconds
  6. Projection de la marge de capacité face à la croissance et remise d'une feuille de route de remédiation classée par niveau de risque

Résultat obtenu

L'organisme a obtenu un état de référence qu'il n'avait jamais eu, avec les points les plus proches de provoquer une panne identifiés et ordonnancés. Plusieurs choix de configuration hérités, dont des niveaux de cohérence qui ne correspondaient pas à l'exigence de durabilité affichée, ont été corrigés en conséquence.

Technologies

Apache CassandraLinuxPrometheusKubernetes

Prêt pour un bilan de santé Apache Cassandra ?

Les ingénieurs Apache Cassandra seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.