Volver a todos los casos de uso

ConsultoríaMultisectorial

Modelar para las consultas que realmente ejecuta

Proveedor de servicios de identidad digital

Rediseño de las partition keys y del orden de clustering para eliminar particiones que crecían sin límite y las consultas por índices secundarios que llegaban a todos los nodos.

Descripción general

Un proveedor de servicios de identidad había modelado sus tablas de Cassandra como si fueran relacionales y luego había agregado índices secundarios para cubrir las consultas que la primary key no resolvía. Algunas particiones habían crecido hasta ocupar gigabytes, y las consultas apoyadas en índices se distribuían a todos los nodos del anillo. AceMQ fue contratada para rediseñar el modelo.

Desafío

Cassandra premia modelar en torno a los patrones de consulta y castiga modelar en torno a las entidades. El rediseño tenía que acotar el crecimiento de las particiones, mantener las consultas dominantes de la plataforma resueltas por un único conjunto de réplicas y poder adoptarse de forma incremental: el proveedor no podía detener las escrituras para reconstruir las tablas de una sola vez.

Entorno

Apache Cassandra en Kubernetes como soporte de los servicios de verificación de identidad y de ciclo de vida de credenciales.

Enfoque

AceMQ relevó cada consulta que emitía la aplicación y trabajó hacia atrás para definir las tablas necesarias para resolverlas, aceptando la desnormalización allí donde eliminaba la distribución a todo el clúster. El tamaño de las particiones se proyectó contra varios años de crecimiento y no contra el volumen actual, y la migración se diseñó con escrituras duales para que el cambio no requiriera ninguna ventana de corte.

Solución

  1. Relevamiento de los patrones de consulta reales de la aplicación y diseño de las tablas necesarias a partir de ellos
  2. Bucketing por tiempo y por hash para acotar el crecimiento de las particiones según proyecciones de varios años
  3. Reemplazo de las consultas por índices secundarios con tablas desnormalizadas específicas para eliminar la distribución a todo el clúster
  4. Elección de las clustering keys y su orden para resolver range scans y paginación sin ordenar en memoria
  5. Diseño de una ruta de migración con escrituras duales y backfill para que el cambio no exigiera congelar las escrituras
  6. Límites de tamaño de partición y de cantidad de filas, con monitoreo para detectar regresiones en desarrollos futuros

Resultado final

Las consultas distribuidas a todo el clúster desaparecieron de la ruta crítica y las particiones más grandes volvieron a estar dentro de un orden de magnitud del tope recomendado. La latencia de lectura pasó a ser predecible en todo el espacio de claves, en lugar de variar según el tamaño de la partición.

Tecnologías

Apache CassandraKubernetesKafkaPrometheus

¿Necesita orientación de arquitectura para Apache Cassandra?

Los ingenieros sénior de Apache Cassandra de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.