Panoramica
Una piattaforma di tracciamento merci aveva eseguito lo sharding della sua collection più grande su una chiave derivata da un timestamp. Ogni insert finiva nello stesso intervallo di chunk, per cui un solo shard assorbiva l'intero carico di scrittura mentre gli altri restavano inattivi. Diversi chunk erano inoltre cresciuti oltre la soglia di split su valori a bassa cardinalità ed erano rimasti bloccati come jumbo chunk che il balancer si rifiutava di spostare.
Sfida
Ridefinire la shard key di una collection in produzione da diversi terabyte non è una semplice modifica di configurazione. L'intervento doveva produrre una chiave che distribuisse le scritture, continuasse a supportare i pattern di query prevalenti della piattaforma senza scatter-gather e potesse essere adottata con un percorso di migrazione che non richiedesse una lunga finestra di manutenzione.
Ambiente
Cluster MongoDB in sharding distribuito tra hardware on-premises e capacità in cloud, a supporto del tracciamento delle spedizioni e della telemetria.
Approccio
AceMQ ha profilato il mix reale di query a partire dallo slow query log e dal codice applicativo, anziché dai pattern di accesso documentati, che nel frattempo erano cambiati. Le chiavi candidate sono state valutate in base a distribuzione delle scritture, rapporto tra query mirate e broadcast e cardinalità dei chunk, quindi validate su una copia ripristinata della produzione prima di proporre qualsiasi modifica.
Soluzione
- Profilate le forme reali delle query e la distribuzione delle scritture per shard, per stabilire il pattern di accesso effettivo e non quello documentato
- Valutate shard key candidate composte e hashed in base a distribuzione delle scritture, targeting delle query e cardinalità dei chunk
- Validata la chiave raccomandata su una copia ripristinata in scala di produzione prima di impegnarsi in un piano
- Progettata una migrazione per fasi tramite resharding, con checkpoint definiti e una posizione di rollback in ogni fase
- Risolti i jumbo chunk esistenti e corretta la configurazione delle zone che aveva vincolato alcuni intervalli agli shard sbagliati
- Documentate finestre del balancer e impostazioni di dimensione dei chunk allineate al profilo di ingestion della piattaforma
Esito
Il traffico di scrittura si è distribuito su tutti gli shard invece di concentrarsi su uno solo, e il cluster ha recuperato la capacità di scalare orizzontalmente aggiungendo shard. Le query broadcast sono diminuite in modo sostanziale, perché la nuova chiave mantiene mirati i pattern di lettura prevalenti.