Descripción general
Un organismo del sector público operaba un clúster de Cassandra heredado de un proyecto con un proveedor que había terminado años atrás. La documentación era escasa y el equipo de operaciones nunca había recibido una línea base. AceMQ evaluó el clúster frente a su carga de trabajo actual y al crecimiento proyectado.
Desafío
Evaluar un clúster heredado implica separar las decisiones de diseño deliberadas de lo que se fue acumulando por accidente. Había que contrastar el factor de replicación y los niveles de consistencia con la durabilidad que el organismo realmente necesitaba, verificar la distribución de tokens en busca de hot spots y medir el comportamiento de la JVM y del garbage collection bajo carga real, en lugar de inferirlo a partir de la configuración.
Entorno
Clúster on-premise de Apache Cassandra que soporta cargas de trabajo de gestión de expedientes y retención de registros.
Enfoque
AceMQ recopiló evidencia del clúster en funcionamiento (propiedad de tokens, distribución de la carga por nodo, distribución de las pausas de garbage collection, backlog de compactación y colas de tareas pendientes) y la evaluó frente a los requisitos de durabilidad y disponibilidad del organismo. Los hallazgos se ordenaron según qué tan cerca estaba cada uno de provocar un incidente.
Solución
- Verificación de la propiedad de tokens y de la distribución de la carga por nodo para identificar hot spots y nodos desbalanceados
- Revisión del factor de replicación y de los niveles de consistencia frente a los requisitos reales de durabilidad del organismo
- Medición de la distribución de las pausas de garbage collection y del comportamiento del heap bajo carga de producción
- Evaluación del backlog de compactación, las tareas pendientes y la cantidad de SSTables por tabla para detectar deuda acumulada
- Evaluación de la cobertura de repair y del historial de ejecuciones completadas frente a gc_grace_seconds
- Proyección del margen de capacidad frente al crecimiento y entrega de una hoja de ruta de corrección ordenada por riesgo
Resultado final
El organismo obtuvo una línea base que nunca había tenido, con los puntos más cercanos a provocar una caída identificados y priorizados. Como resultado, se corrigieron varias decisiones de configuración heredadas, entre ellas niveles de consistencia que no coincidían con el requisito de durabilidad declarado.