Torna a tutti i casi d'uso

ConsulenzaTrasversale

Una progettazione della shard key che distribuisce le scritture invece di concentrarle

Fornitore di tecnologia per la logistica e il trasporto merci

Riprogettazione di una shard key monotonicamente crescente che concentrava tutti gli insert su un solo shard e produceva jumbo chunk impossibili da suddividere.

Panoramica

Una piattaforma di tracciamento merci aveva eseguito lo sharding della sua collection più grande su una chiave derivata da un timestamp. Ogni insert finiva nello stesso intervallo di chunk, per cui un solo shard assorbiva l'intero carico di scrittura mentre gli altri restavano inattivi. Diversi chunk erano inoltre cresciuti oltre la soglia di split su valori a bassa cardinalità ed erano rimasti bloccati come jumbo chunk che il balancer si rifiutava di spostare.

Sfida

Ridefinire la shard key di una collection in produzione da diversi terabyte non è una semplice modifica di configurazione. L'intervento doveva produrre una chiave che distribuisse le scritture, continuasse a supportare i pattern di query prevalenti della piattaforma senza scatter-gather e potesse essere adottata con un percorso di migrazione che non richiedesse una lunga finestra di manutenzione.

Ambiente

Cluster MongoDB in sharding distribuito tra hardware on-premises e capacità in cloud, a supporto del tracciamento delle spedizioni e della telemetria.

Approccio

AceMQ ha profilato il mix reale di query a partire dallo slow query log e dal codice applicativo, anziché dai pattern di accesso documentati, che nel frattempo erano cambiati. Le chiavi candidate sono state valutate in base a distribuzione delle scritture, rapporto tra query mirate e broadcast e cardinalità dei chunk, quindi validate su una copia ripristinata della produzione prima di proporre qualsiasi modifica.

Soluzione

  1. Profilate le forme reali delle query e la distribuzione delle scritture per shard, per stabilire il pattern di accesso effettivo e non quello documentato
  2. Valutate shard key candidate composte e hashed in base a distribuzione delle scritture, targeting delle query e cardinalità dei chunk
  3. Validata la chiave raccomandata su una copia ripristinata in scala di produzione prima di impegnarsi in un piano
  4. Progettata una migrazione per fasi tramite resharding, con checkpoint definiti e una posizione di rollback in ogni fase
  5. Risolti i jumbo chunk esistenti e corretta la configurazione delle zone che aveva vincolato alcuni intervalli agli shard sbagliati
  6. Documentate finestre del balancer e impostazioni di dimensione dei chunk allineate al profilo di ingestion della piattaforma

Esito

Il traffico di scrittura si è distribuito su tutti gli shard invece di concentrarsi su uno solo, e il cluster ha recuperato la capacità di scalare orizzontalmente aggiungendo shard. Le query broadcast sono diminuite in modo sostanziale, perché la nuova chiave mantiene mirati i pattern di lettura prevalenti.

Tecnologie

MongoDBKubernetesKafkaTerraform

Vi servono indicazioni sull'architettura MongoDB?

Gli ingegneri MongoDB senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.