Descripción general
Un proveedor de telemática usaba una tabla de Cassandra como cola de trabajo: escribía filas y las borraba después de procesarlas. Las consultas de lectura empezaron a agotar el tiempo de espera porque los coordinadores recorrían decenas de miles de tombstones para devolver unas pocas filas vivas. Se contrató a AceMQ bajo el SLA de emergencia.
Reto
Los tombstones siguen siendo legibles hasta que transcurre gc_grace_seconds y la compactación los elimina, un mecanismo que existe para evitar que los datos borrados resuciten en un nodo que no recibió el borrado. Las reparaciones no se estaban completando en todo el anillo, así que reducir gc_grace_seconds suponía un riesgo real de resurrección. El equipo había ido subiendo los umbrales de aviso y de fallo de tombstones, lo que ocultaba el síntoma mientras el coste de fondo del escaneo seguía creciendo.
Entorno
Clúster de Apache Cassandra multi-datacenter en bare metal que ingiere telemetría de vehículos a gran volumen.
Enfoque
AceMQ separó el trabajo de alivio inmediato de la solución duradera. Conseguir que las reparaciones se completaran de forma fiable era el requisito previo para cualquier cambio en gc_grace_seconds, y el cambio en el modelo de datos era necesario porque una cola sobre una partición ancha genera tombstones más deprisa de lo que la compactación puede retirarlos, sea cual sea la configuración.
Solución
- Identificación de las particiones y las formas de consulta concretas que recorrían el mayor número de tombstones
- Restablecimiento de la finalización fiable de las reparaciones en todo el anillo como requisito previo para tocar gc_grace_seconds
- Traslado de la carga de trabajo de cola desde el patrón de partición ancha a particiones por intervalos de tiempo con caducidad basada en TTL
- Cambio de las tablas afectadas a una estrategia de compactación adaptada al patrón de escrituras y borrados
- Reversión de los umbrales de tombstones elevados para que la situación vuelva a aflorar en lugar de quedar oculta
- Compactación dirigida para retirar la acumulación de tombstones existente durante una ventana controlada
Resultado final
Los timeouts de lectura en las tablas afectadas desaparecieron, y la latencia de lectura p99 bajó de forma notable a medida que el número de tombstones recorridos caía varios órdenes de magnitud. Las reparaciones se completan ahora según lo previsto, lo que además eliminó el riesgo de resurrección que el cliente arrastraba sin saberlo.