Descripción general
Un proveedor de servicios de identidad había modelado sus tablas de Cassandra como si fueran relacionales y luego había agregado índices secundarios para cubrir las consultas que la primary key no resolvía. Algunas particiones habían crecido hasta ocupar gigabytes, y las consultas apoyadas en índices se distribuían a todos los nodos del anillo. AceMQ fue contratada para rediseñar el modelo.
Desafío
Cassandra premia modelar en torno a los patrones de consulta y castiga modelar en torno a las entidades. El rediseño tenía que acotar el crecimiento de las particiones, mantener las consultas dominantes de la plataforma resueltas por un único conjunto de réplicas y poder adoptarse de forma incremental: el proveedor no podía detener las escrituras para reconstruir las tablas de una sola vez.
Entorno
Apache Cassandra en Kubernetes como soporte de los servicios de verificación de identidad y de ciclo de vida de credenciales.
Enfoque
AceMQ relevó cada consulta que emitía la aplicación y trabajó hacia atrás para definir las tablas necesarias para resolverlas, aceptando la desnormalización allí donde eliminaba la distribución a todo el clúster. El tamaño de las particiones se proyectó contra varios años de crecimiento y no contra el volumen actual, y la migración se diseñó con escrituras duales para que el cambio no requiriera ninguna ventana de corte.
Solución
- Relevamiento de los patrones de consulta reales de la aplicación y diseño de las tablas necesarias a partir de ellos
- Bucketing por tiempo y por hash para acotar el crecimiento de las particiones según proyecciones de varios años
- Reemplazo de las consultas por índices secundarios con tablas desnormalizadas específicas para eliminar la distribución a todo el clúster
- Elección de las clustering keys y su orden para resolver range scans y paginación sin ordenar en memoria
- Diseño de una ruta de migración con escrituras duales y backfill para que el cambio no exigiera congelar las escrituras
- Límites de tamaño de partición y de cantidad de filas, con monitoreo para detectar regresiones en desarrollos futuros
Resultado final
Las consultas distribuidas a todo el clúster desaparecieron de la ruta crítica y las particiones más grandes volvieron a estar dentro de un orden de magnitud del tope recomendado. La latencia de lectura pasó a ser predecible en todo el espacio de claves, en lugar de variar según el tamaño de la partición.