Descripción general
Un proveedor de servicios de identidad había modelado sus tablas de Cassandra como lo habría hecho con tablas relacionales y después había añadido índices secundarios para cubrir las consultas que la clave primaria no resolvía. Algunas particiones habían crecido hasta los gigabytes, y las consultas apoyadas en índices se propagaban a todos los nodos del anillo. AceMQ fue contratada para rediseñar el modelo.
Reto
Cassandra premia modelar en torno a los patrones de consulta y castiga modelar en torno a las entidades. El rediseño tenía que acotar el crecimiento de las particiones, conseguir que las consultas predominantes de la plataforma se resolvieran en un único conjunto de réplicas y poder adoptarse de forma incremental: el proveedor no podía detener las escrituras para reconstruir las tablas de una sola vez.
Entorno
Apache Cassandra en Kubernetes como base de los servicios de verificación de identidad y de ciclo de vida de credenciales.
Enfoque
AceMQ inventarió todas las consultas que emitía la aplicación y, partiendo de ellas, dedujo las tablas necesarias para resolverlas, aceptando la desnormalización allí donde eliminaba la propagación a todo el clúster. El tamaño de las particiones se proyectó frente a varios años de crecimiento y no frente al volumen actual, y la migración se diseñó con escrituras duales para que el cambio no requiriera ninguna ventana de corte.
Solución
- Inventario de los patrones reales de consulta de la aplicación y diseño de las tablas necesarias a partir de ellos
- Bucketing por tiempo y por hash para acotar el crecimiento de las particiones según proyecciones a varios años
- Sustitución de las consultas por índices secundarios por tablas desnormalizadas diseñadas a propósito, eliminando la propagación a todo el clúster
- Elección de claves y orden de clustering que resuelven los escaneos por rango y la paginación sin ordenar en memoria
- Diseño de una ruta de migración con escrituras duales y backfill para que el cambio no exigiera congelar las escrituras
- Límites de tamaño de partición y de número de filas con monitorización para detectar regresiones en desarrollos futuros
Resultado final
Las consultas que se propagaban a todo el clúster desaparecieron de la ruta crítica y las particiones más grandes volvieron a quedar a menos de un orden de magnitud del techo recomendado. La latencia de lectura pasó a ser predecible en todo el espacio de claves, en lugar de variar con el tamaño de la partición.