Zurück zu allen Kundenbeispielen

BeratungBranchenübergreifend

Ein Shard-Key-Design, das Schreibzugriffe verteilt, statt sie zu bündeln

Technologieanbieter für Logistik und Frachtverkehr

Neugestaltung eines monoton steigenden Shard Keys, der alle Inserts auf einen Shard konzentrierte und Jumbo Chunks erzeugte, die sich nicht mehr teilen ließen.

Überblick

Eine Plattform zur Frachtverfolgung hatte ihre größte Collection nach einem aus Zeitstempeln abgeleiteten Key gesharded. Jeder Insert landete im selben Chunk-Bereich, sodass ein einziger Shard die gesamte Schreiblast trug, während die anderen untätig blieben. Mehrere Chunks waren zudem bei Werten mit niedriger Kardinalität über die Split-Schwelle hinausgewachsen und steckten als Jumbo Chunks fest, die der Balancer nicht verschieben wollte.

Herausforderung

Den Shard Key einer laufenden Collection im Multi-Terabyte-Bereich umzubauen ist keine Konfigurationsänderung. Das Projekt musste einen Key liefern, der Schreibzugriffe verteilt, die dominanten Abfragemuster der Plattform weiterhin ohne Scatter-Gather unterstützt und sich über einen Migrationspfad einführen lässt, der kein ausgedehntes Wartungsfenster erfordert.

Umgebung

Gesharded MongoDB-Cluster über On-Premises-Hardware und Cloud-Kapazität hinweg, als Basis für Sendungsverfolgung und Telemetrie.

Vorgehen

AceMQ profilierte den realen Abfragemix aus dem Slow Query Log und dem Anwendungscode statt aus den dokumentierten Zugriffsmustern, die sich inzwischen verschoben hatten. Kandidaten für den Key wurden nach Schreibverteilung, Verhältnis gezielter zu Broadcast-Abfragen und Chunk-Kardinalität bewertet und dann auf einer wiederhergestellten Kopie der Produktion validiert, bevor überhaupt eine Änderung vorgeschlagen wurde.

Lösung

  1. Tatsächliche Abfrageformen und Schreibverteilung pro Shard profiliert, um das reale statt des dokumentierten Zugriffsmusters zu ermitteln
  2. Kandidaten für zusammengesetzte und gehashte Shard Keys nach Schreibverteilung, Query Targeting und Chunk-Kardinalität bewertet
  3. Empfohlenen Key auf einer wiederhergestellten Kopie in Produktionsgröße validiert, bevor ein Plan festgelegt wurde
  4. Phasenweise Migration per Resharding mit definierten Checkpoints und einer Rollback-Position in jeder Phase entworfen
  5. Bestehende Jumbo Chunks aufgelöst und die Zonenkonfiguration korrigiert, die Bereiche auf die falschen Shards festgelegt hatte
  6. Balancer-Fenster und Chunk-Größen passend zum Ingest-Profil der Plattform dokumentiert

Resultat

Der Schreib-Traffic verteilt sich heute auf alle Shards, statt sich auf einen zu konzentrieren, und der Cluster kann wieder horizontal durch zusätzliche Shards skalieren. Broadcast-Abfragen gingen deutlich zurück, weil der neue Key die dominanten Lesemuster gezielt hält.

Technologien

MongoDBKubernetesKafkaTerraform

Brauchen Sie Architekturberatung für MongoDB?

Die Senior Engineers von AceMQ für MongoDB haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.