Descripción general
Un organismo del sector público operaba un clúster de Cassandra heredado de un proyecto con un proveedor que había terminado años atrás. La documentación era escasa y el equipo de operaciones nunca había recibido una línea base. AceMQ evaluó el clúster frente a su carga de trabajo actual y al crecimiento previsto.
Reto
Evaluar un clúster heredado implica separar las decisiones de diseño deliberadas de lo que se ha ido acumulando por accidente. Había que contrastar el factor de replicación y los niveles de consistencia con la durabilidad que el organismo necesitaba realmente, verificar la distribución de tokens en busca de puntos calientes y medir el comportamiento de la JVM y del garbage collection con carga real, en lugar de deducirlo de la configuración.
Entorno
Clúster de Apache Cassandra on-premise que da servicio a cargas de trabajo de gestión de expedientes y conservación de registros.
Enfoque
AceMQ recopiló pruebas del clúster en ejecución (propiedad de tokens, distribución de la carga por nodo, distribución de las pausas de garbage collection, backlog de compactación y colas de tareas pendientes) y las evaluó frente a los requisitos de durabilidad y disponibilidad del organismo. Los hallazgos se ordenaron según lo cerca que estaba cada uno de provocar un incidente.
Solución
- Verificación de la propiedad de tokens y de la distribución de la carga por nodo para identificar puntos calientes y nodos desequilibrados
- Revisión del factor de replicación y de los niveles de consistencia frente a los requisitos reales de durabilidad del organismo
- Medición de la distribución de las pausas de garbage collection y del comportamiento del heap con carga de producción
- Evaluación del backlog de compactación, las tareas pendientes y el número de SSTables por tabla para detectar deuda acumulada
- Evaluación de la cobertura de repair y de su historial de finalización frente a gc_grace_seconds
- Proyección del margen de capacidad frente al crecimiento y entrega de una hoja de ruta de remediación priorizada por riesgo
Resultado final
El organismo obtuvo una línea base que nunca había tenido, con los puntos más próximos a provocar una caída identificados y ordenados. Como resultado se corrigieron varias decisiones de configuración heredadas, entre ellas unos niveles de consistencia que no se ajustaban al requisito de durabilidad declarado.