Descripción general
Una plataforma de rastreo de carga había aplicado sharding a su colección más grande con una clave derivada de un timestamp. Cada inserción caía en el mismo rango de chunks, de modo que un solo shard absorbía toda la carga de escritura mientras los demás permanecían inactivos. Además, varios chunks habían superado el umbral de división sobre valores de baja cardinalidad y estaban atascados como jumbo chunks que el balancer se negaba a mover.
Desafío
Cambiar la shard key de una colección en producción de varios terabytes no es un cambio de configuración. El proyecto tenía que producir una clave que distribuyera las escrituras, siguiera soportando los patrones de consulta dominantes de la plataforma sin scatter-gather y pudiera adoptarse mediante una ruta de migración que no exigiera una ventana de mantenimiento prolongada.
Entorno
Clúster de MongoDB con sharding que abarca hardware on-premises y capacidad en la nube, como base del rastreo de envíos y de la telemetría.
Enfoque
AceMQ perfiló la combinación real de consultas a partir del slow query log y del código de la aplicación, en lugar de los patrones de acceso documentados, que se habían desviado de la realidad. Las claves candidatas se evaluaron según la distribución de escrituras, la proporción de consultas dirigidas frente a broadcast y la cardinalidad de los chunks, y luego se validaron en una copia restaurada de producción antes de proponer cualquier cambio.
Solución
- Perfilado de las formas reales de las consultas y de la distribución de escrituras por shard para establecer el patrón de acceso real, no el documentado
- Evaluación de shard keys compuestas y hasheadas candidatas según la distribución de escrituras, el direccionamiento de consultas y la cardinalidad de los chunks
- Validación de la clave recomendada en una copia restaurada a escala de producción antes de comprometerse con un plan
- Diseño de una migración por fases mediante resharding, con puntos de control definidos y una posición de rollback en cada etapa
- Resolución de los jumbo chunks existentes y corrección de la configuración de zonas que había fijado rangos en los shards equivocados
- Documentación de las ventanas del balancer y de la configuración del tamaño de chunk, alineadas con el perfil de ingesta de la plataforma
Resultado final
El tráfico de escritura se repartió entre todos los shards en lugar de concentrarse en uno, y el clúster recuperó la capacidad de escalar horizontalmente agregando shards. Las consultas broadcast disminuyeron de forma considerable, ya que la nueva clave mantuvo dirigidos los patrones de lectura dominantes.