Torna a tutti i casi d'uso

SupportoSanità / Benefit

Supporto 24/7 per i replica set con ingegneri senior dedicati e senza triage di livello 1

Fornitore di analytics in ambito sanitario

Supporto continuativo per replica set in cui una finestra dell'oplog troppo breve costringeva a ripetute initial sync complete dei secondari durante i caricamenti batch notturni.

Panoramica

Un fornitore di analytics eseguiva caricamenti ETL notturni che generavano un volume di oplog molto superiore a quello del traffico a regime. Qualsiasi secondario rimasto indietro durante la finestra di caricamento usciva dall'oplog e finiva in una initial sync completa, che entrava poi in competizione con il caricamento della notte successiva. AceMQ ha preso in carico il supporto dei replica set con ingegneri senior dedicati ed escalation diretta.

Sfida

L'oplog era stato dimensionato con la percentuale di disco di default alla creazione del cluster e non era mai stato rivisto. Gli aggiornamenti massivi che riscrivevano interi documenti amplificavano il volume dell'oplog ben oltre la dimensione dei campi modificati, e un solo secondario in ritardo poteva innescare una cascata di resync che lasciava il replica set senza una replica di lettura in salute per gran parte di una giornata lavorativa.

Ambiente

Replica set MongoDB gestiti su AWS, con ingestion batch notturna da un data warehouse clinico a monte.

Approccio

AceMQ ha misurato il churn effettivo dell'oplog durante un'intera finestra batch anziché basarsi sulle medie, e ha poi dimensionato l'oplog per coprire la finestra peggiore osservata con un margine. In parallelo, gli ingegneri hanno rivisto le scritture batch per ridurre l'amplificazione dell'oplog e definito un runbook che consente al personale reperibile di recuperare un secondario in ritardo senza una resync completa.

Soluzione

  1. Misurato il tasso massimo di generazione dell'oplog su un'intera finestra batch, per dimensionare l'oplog sullo scenario peggiore e non sulla media
  2. Oplog ridimensionato online e finestra di replica risultante validata sotto carico
  3. Riscritture di interi documenti nell'ETL convertite in aggiornamenti mirati dei campi, per ridurre l'amplificazione dell'oplog
  4. Concorrenza dei caricamenti batch scaglionata, così che i secondari potessero tenere il passo con il throughput di scrittura del primario
  5. Redatto un runbook di recovery che copre secondari in ritardo, file di rollback e i casi in cui una resync è davvero necessaria
  6. Configurati alert su replication lag e finestra dell'oplog collegati al percorso di escalation 24/7

Esito

La resync notturna ricorrente è stata eliminata, e il replica set mantiene ora una finestra di replica nell'ordine dei giorni anziché delle ore. Il team di reperibilità del cliente risolve la maggior parte degli episodi di lag con il runbook, senza escalation.

Tecnologie

MongoDBKubernetesTerraformPrometheus

Vi serve supporto specialistico per MongoDB?

Gli ingegneri MongoDB senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.