Retour à tous les cas d'usage

ConseilMultisectoriel

Une clé de sharding conçue pour répartir les écritures au lieu de les concentrer

Éditeur de solutions technologiques pour la logistique et le fret

Refonte d'une clé de sharding monotone croissante qui concentrait toutes les insertions sur un seul shard et produisait des jumbo chunks impossibles à scinder.

Présentation

Une plateforme de suivi du fret avait shardé sa plus grande collection sur une clé dérivée d'un horodatage. Chaque insertion tombait dans la même plage de chunks : un seul shard absorbait toute la charge d'écriture pendant que les autres restaient inactifs. Plusieurs chunks avaient en outre dépassé le seuil de découpage sur des valeurs à faible cardinalité et restaient bloqués en jumbo chunks que le balancer refusait de déplacer.

Défi

Remodeler une clé de sharding sur une collection de plusieurs téraoctets en production n'a rien d'un simple changement de configuration. La mission devait aboutir à une clé qui répartisse les écritures, prenne toujours en charge les principaux schémas de requêtes de la plateforme sans scatter-gather, et puisse être adoptée via un chemin de migration n'exigeant pas de fenêtre de maintenance prolongée.

Environnement

Cluster MongoDB shardé réparti entre du matériel on-premise et des capacités cloud, au service du suivi des expéditions et de la télémétrie.

Approche

AceMQ a profilé le mix réel de requêtes à partir du slow query log et du code applicatif, plutôt que de se fier aux schémas d'accès documentés, qui avaient dérivé. Les clés candidates ont été évaluées selon la répartition des écritures, le ratio de requêtes ciblées et diffusées, et la cardinalité des chunks, puis validées sur une copie restaurée de la production avant toute proposition de changement.

Solution

  1. Profilage des formes de requêtes réelles et de la répartition des écritures par shard pour établir le schéma d'accès effectif, et non celui de la documentation
  2. Évaluation de clés de sharding composées et hachées candidates selon la répartition des écritures, le ciblage des requêtes et la cardinalité des chunks
  3. Validation de la clé recommandée sur une copie restaurée à l'échelle de la production avant de s'engager sur un plan
  4. Conception d'une migration par phases par resharding, avec des points de contrôle définis et une position de retour arrière à chaque étape
  5. Résolution des jumbo chunks existants et correction de la configuration de zones qui avait épinglé des plages sur les mauvais shards
  6. Documentation des fenêtres du balancer et des paramètres de taille de chunk alignés sur le profil d'ingestion de la plateforme

Résultat obtenu

Le trafic d'écriture se répartit désormais sur tous les shards au lieu de se concentrer sur un seul, et le cluster a retrouvé sa capacité à monter en charge horizontalement par l'ajout de shards. Les requêtes diffusées ont nettement diminué, la nouvelle clé gardant ciblés les principaux schémas de lecture.

Technologies

MongoDBKubernetesKafkaTerraform

Besoin de conseils en architecture MongoDB ?

Les ingénieurs MongoDB seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.