Zurück zu allen Kundenbeispielen

SupportGesundheitswesen / Sozialleistungen

24/7-Support für Replica Sets mit namentlich zugeordneten Senior Engineers und ohne Tier-1-Triage

Anbieter von Gesundheitsanalysen

Laufender Support für Replica Sets, in denen ein zu kurzes Oplog-Fenster bei nächtlichen Batch-Loads wiederholt vollständige Initial Syncs der Secondaries erzwang.

Überblick

Ein Analytics-Anbieter fuhr nächtliche ETL-Loads, die weit mehr Oplog-Volumen erzeugten als der normale Betrieb. Jeder Secondary, der im Load-Fenster zurückfiel, rutschte aus dem Oplog und musste einen vollständigen Initial Sync durchlaufen – der dann mit dem Load der nächsten Nacht konkurrierte. AceMQ übernahm den Support für die Replica Sets mit namentlich zugeordneten Senior Engineers und direkter Eskalation.

Herausforderung

Das Oplog war bei der Einrichtung des Clusters nach dem Standardanteil am Datenträger dimensioniert und nie wieder überprüft worden. Bulk-Updates, die ganze Dokumente neu schrieben, vervielfachten das Oplog-Volumen weit über die Größe der geänderten Felder hinaus, und ein einziger zurückliegender Secondary konnte eine Resync-Kaskade auslösen, durch die das Replica Set einen Großteil des Geschäftstags ohne gesunde Read Replica blieb.

Umgebung

Managed MongoDB Replica Sets auf AWS mit nächtlicher Batch-Ingestion aus einem vorgelagerten klinischen Data Warehouse.

Vorgehen

AceMQ maß den tatsächlichen Oplog-Durchsatz über ein vollständiges Batch-Fenster, statt sich auf Durchschnittswerte zu verlassen, und dimensionierte das Oplog so, dass es das schlimmste beobachtete Fenster mit Reserve abdeckt. Parallel bauten die Engineers die Batch-Writes um, um die Oplog-Vervielfachung zu verringern, und erstellten ein Runbook, mit dem die Rufbereitschaft einen zurückliegenden Secondary ohne vollständigen Resync wiederherstellen kann.

Lösung

  1. Spitzenrate der Oplog-Erzeugung über ein komplettes Batch-Fenster gemessen, um das Oplog am Worst Case statt am Durchschnitt zu dimensionieren
  2. Oplog online vergrößert und das resultierende Replikationsfenster unter Last validiert
  3. Rewrites ganzer Dokumente im ETL auf gezielte Feld-Updates umgestellt, um die Oplog-Vervielfachung zu senken
  4. Parallelität der Batch-Loads gestaffelt, damit die Secondaries mit dem Schreibdurchsatz des Primary Schritt halten
  5. Recovery-Runbook für zurückliegende Secondaries, Rollback-Dateien und die Frage, wann ein Resync wirklich nötig ist
  6. Alerting für Replication Lag und Oplog-Fenster eingerichtet und an den 24/7-Eskalationspfad angebunden

Resultat

Der wiederkehrende nächtliche Resync ist beseitigt, und das Replica Set hält jetzt ein Replikationsfenster von Tagen statt Stunden. Die Rufbereitschaft des Kunden löst die meisten Lag-Ereignisse anhand des Runbooks, ohne zu eskalieren.

Technologien

MongoDBKubernetesTerraformPrometheus

Brauchen Sie Expertensupport für MongoDB?

Die Senior Engineers von AceMQ für MongoDB haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.