Présentation
Un fournisseur d'analytique exécutait chaque nuit des chargements ETL qui généraient bien plus de volume d'oplog que le trafic courant. Tout secondaire qui prenait du retard pendant la fenêtre de chargement sortait de l'oplog et basculait dans un initial sync complet, qui entrait ensuite en concurrence avec le chargement de la nuit suivante. AceMQ a repris le support des replica sets avec des ingénieurs seniors attitrés et une escalade directe.
Défi
L'oplog avait été dimensionné selon le pourcentage de disque par défaut à la création du cluster, sans jamais être réexaminé. Les mises à jour en masse qui réécrivaient des documents entiers amplifiaient le volume d'oplog bien au-delà de la taille des champs modifiés, et un seul secondaire en retard pouvait déclencher une cascade de resynchronisations qui privait le replica set de réplica de lecture sain pendant la majeure partie d'une journée ouvrée.
Environnement
Replica sets MongoDB managés sur AWS, alimentés chaque nuit par ingestion batch depuis un entrepôt de données cliniques en amont.
Approche
AceMQ a mesuré le volume réel d'oplog généré pendant une fenêtre batch complète, au lieu de s'appuyer sur des moyennes, puis a dimensionné l'oplog pour couvrir la pire fenêtre observée avec une marge. En parallèle, les ingénieurs ont retravaillé les écritures batch pour réduire l'amplification de l'oplog et rédigé un runbook permettant à l'astreinte de rattraper un secondaire en retard sans resynchronisation complète.
Solution
- Mesure du débit maximal de génération d'oplog sur une fenêtre batch complète, pour dimensionner l'oplog sur le pire cas et non sur la moyenne
- Redimensionnement de l'oplog à chaud et validation de la fenêtre de réplication obtenue sous charge
- Remplacement, dans l'ETL, des réécritures de documents entiers par des mises à jour ciblées de champs, pour réduire l'amplification de l'oplog
- Échelonnement de la concurrence des chargements batch pour que les secondaires suivent le débit d'écriture du primaire
- Rédaction d'un runbook de reprise couvrant les secondaires en retard, les fichiers de rollback et les cas où une resynchronisation est réellement nécessaire
- Mise en place d'alertes sur le retard de réplication et la fenêtre d'oplog, reliées au circuit d'escalade 24/7
Résultat obtenu
La resynchronisation nocturne récurrente a été éliminée, et le replica set dispose désormais d'une fenêtre de réplication qui se compte en jours plutôt qu'en heures. L'équipe d'astreinte du client traite la plupart des épisodes de retard à l'aide du runbook, sans escalade.