Überblick
Eine Plattform zur Frachtverfolgung hatte ihre größte Collection nach einem aus Zeitstempeln abgeleiteten Key gesharded. Jeder Insert landete im selben Chunk-Bereich, sodass ein einziger Shard die gesamte Schreiblast trug, während die anderen untätig blieben. Mehrere Chunks waren zudem bei Werten mit niedriger Kardinalität über die Split-Schwelle hinausgewachsen und steckten als Jumbo Chunks fest, die der Balancer nicht verschieben wollte.
Herausforderung
Den Shard Key einer laufenden Collection im Multi-Terabyte-Bereich umzubauen ist keine Konfigurationsänderung. Das Projekt musste einen Key liefern, der Schreibzugriffe verteilt, die dominanten Abfragemuster der Plattform weiterhin ohne Scatter-Gather unterstützt und sich über einen Migrationspfad einführen lässt, der kein ausgedehntes Wartungsfenster erfordert.
Umgebung
Gesharded MongoDB-Cluster über On-Premises-Hardware und Cloud-Kapazität hinweg, als Basis für Sendungsverfolgung und Telemetrie.
Vorgehen
AceMQ profilierte den realen Abfragemix aus dem Slow Query Log und dem Anwendungscode statt aus den dokumentierten Zugriffsmustern, die sich inzwischen verschoben hatten. Kandidaten für den Key wurden nach Schreibverteilung, Verhältnis gezielter zu Broadcast-Abfragen und Chunk-Kardinalität bewertet und dann auf einer wiederhergestellten Kopie der Produktion validiert, bevor überhaupt eine Änderung vorgeschlagen wurde.
Lösung
- Tatsächliche Abfrageformen und Schreibverteilung pro Shard profiliert, um das reale statt des dokumentierten Zugriffsmusters zu ermitteln
- Kandidaten für zusammengesetzte und gehashte Shard Keys nach Schreibverteilung, Query Targeting und Chunk-Kardinalität bewertet
- Empfohlenen Key auf einer wiederhergestellten Kopie in Produktionsgröße validiert, bevor ein Plan festgelegt wurde
- Phasenweise Migration per Resharding mit definierten Checkpoints und einer Rollback-Position in jeder Phase entworfen
- Bestehende Jumbo Chunks aufgelöst und die Zonenkonfiguration korrigiert, die Bereiche auf die falschen Shards festgelegt hatte
- Balancer-Fenster und Chunk-Größen passend zum Ingest-Profil der Plattform dokumentiert
Resultat
Der Schreib-Traffic verteilt sich heute auf alle Shards, statt sich auf einen zu konzentrieren, und der Cluster kann wieder horizontal durch zusätzliche Shards skalieren. Broadcast-Abfragen gingen deutlich zurück, weil der neue Key die dominanten Lesemuster gezielt hält.