Volver a todos los casos de uso

ConsultoríaMultisectorial

Modelar para las consultas que de verdad ejecuta

Proveedor de servicios de identidad digital

Rediseño de las claves de partición y del orden de clustering para eliminar las particiones sin límite y retirar las consultas por índices secundarios que llegaban a todos los nodos.

Descripción general

Un proveedor de servicios de identidad había modelado sus tablas de Cassandra como lo habría hecho con tablas relacionales y después había añadido índices secundarios para cubrir las consultas que la clave primaria no resolvía. Algunas particiones habían crecido hasta los gigabytes, y las consultas apoyadas en índices se propagaban a todos los nodos del anillo. AceMQ fue contratada para rediseñar el modelo.

Reto

Cassandra premia modelar en torno a los patrones de consulta y castiga modelar en torno a las entidades. El rediseño tenía que acotar el crecimiento de las particiones, conseguir que las consultas predominantes de la plataforma se resolvieran en un único conjunto de réplicas y poder adoptarse de forma incremental: el proveedor no podía detener las escrituras para reconstruir las tablas de una sola vez.

Entorno

Apache Cassandra en Kubernetes como base de los servicios de verificación de identidad y de ciclo de vida de credenciales.

Enfoque

AceMQ inventarió todas las consultas que emitía la aplicación y, partiendo de ellas, dedujo las tablas necesarias para resolverlas, aceptando la desnormalización allí donde eliminaba la propagación a todo el clúster. El tamaño de las particiones se proyectó frente a varios años de crecimiento y no frente al volumen actual, y la migración se diseñó con escrituras duales para que el cambio no requiriera ninguna ventana de corte.

Solución

  1. Inventario de los patrones reales de consulta de la aplicación y diseño de las tablas necesarias a partir de ellos
  2. Bucketing por tiempo y por hash para acotar el crecimiento de las particiones según proyecciones a varios años
  3. Sustitución de las consultas por índices secundarios por tablas desnormalizadas diseñadas a propósito, eliminando la propagación a todo el clúster
  4. Elección de claves y orden de clustering que resuelven los escaneos por rango y la paginación sin ordenar en memoria
  5. Diseño de una ruta de migración con escrituras duales y backfill para que el cambio no exigiera congelar las escrituras
  6. Límites de tamaño de partición y de número de filas con monitorización para detectar regresiones en desarrollos futuros

Resultado final

Las consultas que se propagaban a todo el clúster desaparecieron de la ruta crítica y las particiones más grandes volvieron a quedar a menos de un orden de magnitud del techo recomendado. La latencia de lectura pasó a ser predecible en todo el espacio de claves, en lugar de variar con el tamaño de la partición.

Tecnologías

Apache CassandraKubernetesKafkaPrometheus

¿Necesita asesoramiento de arquitectura para Apache Cassandra?

Los ingenieros sénior de Apache Cassandra de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.