Retour à tous les cas d'usage

ConseilMultisectoriel

Modéliser pour les requêtes que vous exécutez réellement

Fournisseur de services d'identité numérique

Refonte des clés de partition et de l'ordre de clustering pour supprimer les partitions non bornées et éliminer les requêtes sur index secondaires qui sollicitaient chaque nœud.

Présentation

Un fournisseur de services d'identité avait modélisé ses tables Cassandra comme il l'aurait fait pour une base relationnelle, puis ajouté des index secondaires pour couvrir les requêtes que la clé primaire ne servait pas. Certaines partitions atteignaient plusieurs gigaoctets, et les requêtes appuyées sur des index se propageaient à tous les nœuds de l'anneau. AceMQ a été missionné pour refondre le modèle.

Défi

Cassandra récompense une modélisation pensée autour des requêtes et pénalise une modélisation pensée autour des entités. La refonte devait borner la croissance des partitions, faire servir les requêtes dominantes de la plateforme par un seul ensemble de réplicas et pouvoir être adoptée progressivement : le fournisseur ne pouvait pas interrompre les écritures pour reconstruire ses tables d'un seul bloc.

Environnement

Apache Cassandra sur Kubernetes, au service de la vérification d'identité et du cycle de vie des identifiants.

Approche

AceMQ a inventorié chaque requête émise par l'application et remonté jusqu'aux tables nécessaires pour les servir, en acceptant la dénormalisation là où elle supprimait la propagation à tout le cluster. Le dimensionnement des partitions a été projeté sur plusieurs années de croissance plutôt que sur le volume actuel, et la migration a été conçue pour fonctionner en double écriture, afin que la bascule ne nécessite aucune fenêtre d'interruption.

Solution

  1. Inventaire des schémas de requêtes réels de l'application et déduction des tables nécessaires à partir de ceux-ci
  2. Introduction d'un bucketing temporel et par hachage pour borner la croissance des partitions au regard de projections pluriannuelles
  3. Remplacement des requêtes sur index secondaires par des tables dénormalisées dédiées, pour supprimer la propagation à l'ensemble du cluster
  4. Choix des clés et de l'ordre de clustering pour servir les scans de plage et la pagination sans tri en mémoire
  5. Conception d'un chemin de migration par double écriture et rechargement, pour une bascule sans gel des écritures
  6. Mise en place de garde-fous sur la taille des partitions et le nombre de lignes, avec une supervision pour détecter les régressions lors des développements futurs

Résultat obtenu

Les requêtes propagées à l'ensemble du cluster ont disparu du chemin critique et les plus grosses partitions sont revenues à moins d'un ordre de grandeur du plafond recommandé. La latence de lecture est devenue prévisible sur tout l'espace de clés, au lieu de varier avec la taille des partitions.

Technologies

Apache CassandraKubernetesKafkaPrometheus

Besoin de conseils en architecture Apache Cassandra ?

Les ingénieurs Apache Cassandra seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.