Volver a todos los casos de uso

ConsultoríaMultisectorial

Un diseño de shard key que reparte las escrituras en lugar de concentrarlas

Proveedor tecnológico de logística y transporte de mercancías

Rediseño de una shard key monótonamente creciente que concentraba todas las inserciones en un solo shard y producía jumbo chunks que no se podían dividir.

Descripción general

Una plataforma de seguimiento de mercancías había particionado su mayor colección con una clave derivada de una marca de tiempo. Todas las inserciones caían en el mismo rango de chunks, así que un único shard absorbía toda la carga de escritura mientras los demás estaban ociosos. Además, varios chunks habían superado el umbral de división sobre valores de baja cardinalidad y se habían quedado atascados como jumbo chunks que el balancer se negaba a mover.

Reto

Cambiar la shard key de una colección de varios terabytes en producción no es un cambio de configuración. El proyecto tenía que dar con una clave que repartiera las escrituras, siguiera dando servicio a los patrones de consulta predominantes de la plataforma sin scatter-gather y pudiera adoptarse mediante una ruta de migración que no exigiera una ventana de mantenimiento prolongada.

Entorno

Clúster de MongoDB con sharding repartido entre hardware on-premises y capacidad en la nube, que da soporte al seguimiento de envíos y a la telemetría.

Enfoque

AceMQ perfiló la combinación real de consultas a partir del slow query log y del código de la aplicación, en lugar de los patrones de acceso documentados, que se habían desviado. Las claves candidatas se evaluaron según el reparto de las escrituras, la proporción de consultas dirigidas frente a broadcast y la cardinalidad de los chunks, y después se validaron sobre una copia restaurada de producción antes de proponer ningún cambio.

Solución

  1. Perfilado de las formas reales de las consultas y de la distribución de escrituras por shard para establecer el patrón de acceso real, no el documentado
  2. Evaluación de shard keys compuestas y hashed candidatas según el reparto de escrituras, el direccionamiento de las consultas y la cardinalidad de los chunks
  3. Validación de la clave recomendada sobre una copia restaurada a escala de producción antes de comprometerse con un plan
  4. Diseño de una migración por fases mediante resharding, con puntos de control definidos y una posición de marcha atrás en cada etapa
  5. Resolución de los jumbo chunks existentes y corrección de la configuración de zonas que había fijado rangos en los shards equivocados
  6. Documentación de las ventanas del balancer y de la configuración del tamaño de chunk, alineadas con el perfil de ingesta de la plataforma

Resultado final

El tráfico de escritura se repartió entre todos los shards en lugar de concentrarse en uno, y el clúster recuperó la capacidad de escalar horizontalmente añadiendo shards. Las consultas broadcast se redujeron de forma sustancial, ya que la nueva clave mantenía dirigidos los patrones de lectura predominantes.

Tecnologías

MongoDBKubernetesKafkaTerraform

¿Necesita asesoramiento de arquitectura para MongoDB?

Los ingenieros sénior de MongoDB de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.