Retour à tous les cas d'usage

SupportSanté / prévoyance

Support 24/7 des replica sets avec des ingénieurs seniors attitrés et sans tri de niveau 1

Fournisseur d'analytique de santé

Support continu de replica sets dont la fenêtre d'oplog trop courte imposait des initial syncs complets et répétés des secondaires pendant les chargements batch nocturnes.

Présentation

Un fournisseur d'analytique exécutait chaque nuit des chargements ETL qui généraient bien plus de volume d'oplog que le trafic courant. Tout secondaire qui prenait du retard pendant la fenêtre de chargement sortait de l'oplog et basculait dans un initial sync complet, qui entrait ensuite en concurrence avec le chargement de la nuit suivante. AceMQ a repris le support des replica sets avec des ingénieurs seniors attitrés et une escalade directe.

Défi

L'oplog avait été dimensionné selon le pourcentage de disque par défaut à la création du cluster, sans jamais être réexaminé. Les mises à jour en masse qui réécrivaient des documents entiers amplifiaient le volume d'oplog bien au-delà de la taille des champs modifiés, et un seul secondaire en retard pouvait déclencher une cascade de resynchronisations qui privait le replica set de réplica de lecture sain pendant la majeure partie d'une journée ouvrée.

Environnement

Replica sets MongoDB managés sur AWS, alimentés chaque nuit par ingestion batch depuis un entrepôt de données cliniques en amont.

Approche

AceMQ a mesuré le volume réel d'oplog généré pendant une fenêtre batch complète, au lieu de s'appuyer sur des moyennes, puis a dimensionné l'oplog pour couvrir la pire fenêtre observée avec une marge. En parallèle, les ingénieurs ont retravaillé les écritures batch pour réduire l'amplification de l'oplog et rédigé un runbook permettant à l'astreinte de rattraper un secondaire en retard sans resynchronisation complète.

Solution

  1. Mesure du débit maximal de génération d'oplog sur une fenêtre batch complète, pour dimensionner l'oplog sur le pire cas et non sur la moyenne
  2. Redimensionnement de l'oplog à chaud et validation de la fenêtre de réplication obtenue sous charge
  3. Remplacement, dans l'ETL, des réécritures de documents entiers par des mises à jour ciblées de champs, pour réduire l'amplification de l'oplog
  4. Échelonnement de la concurrence des chargements batch pour que les secondaires suivent le débit d'écriture du primaire
  5. Rédaction d'un runbook de reprise couvrant les secondaires en retard, les fichiers de rollback et les cas où une resynchronisation est réellement nécessaire
  6. Mise en place d'alertes sur le retard de réplication et la fenêtre d'oplog, reliées au circuit d'escalade 24/7

Résultat obtenu

La resynchronisation nocturne récurrente a été éliminée, et le replica set dispose désormais d'une fenêtre de réplication qui se compte en jours plutôt qu'en heures. L'équipe d'astreinte du client traite la plupart des épisodes de retard à l'aide du runbook, sans escalade.

Technologies

MongoDBKubernetesTerraformPrometheus

Besoin d'un support MongoDB expert ?

Les ingénieurs MongoDB seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.