Volver a todos los casos de uso

RemediaciónFabricación / Automoción

Corregir el patrón de acceso, no solo subir el umbral de tombstones

Proveedor de telemática para vehículos conectados

Resolución de timeouts de lectura provocados por la acumulación de tombstones en particiones usadas como colas, donde los borrados superaban el ritmo de la compactación y de gc_grace_seconds.

Descripción general

Un proveedor de telemática usaba una tabla de Cassandra como cola de trabajo: escribía filas y las borraba después de procesarlas. Las consultas de lectura empezaron a agotar el tiempo de espera porque los coordinadores recorrían decenas de miles de tombstones para devolver unas pocas filas vivas. Se contrató a AceMQ bajo el SLA de emergencia.

Reto

Los tombstones siguen siendo legibles hasta que transcurre gc_grace_seconds y la compactación los elimina, un mecanismo que existe para evitar que los datos borrados resuciten en un nodo que no recibió el borrado. Las reparaciones no se estaban completando en todo el anillo, así que reducir gc_grace_seconds suponía un riesgo real de resurrección. El equipo había ido subiendo los umbrales de aviso y de fallo de tombstones, lo que ocultaba el síntoma mientras el coste de fondo del escaneo seguía creciendo.

Entorno

Clúster de Apache Cassandra multi-datacenter en bare metal que ingiere telemetría de vehículos a gran volumen.

Enfoque

AceMQ separó el trabajo de alivio inmediato de la solución duradera. Conseguir que las reparaciones se completaran de forma fiable era el requisito previo para cualquier cambio en gc_grace_seconds, y el cambio en el modelo de datos era necesario porque una cola sobre una partición ancha genera tombstones más deprisa de lo que la compactación puede retirarlos, sea cual sea la configuración.

Solución

  1. Identificación de las particiones y las formas de consulta concretas que recorrían el mayor número de tombstones
  2. Restablecimiento de la finalización fiable de las reparaciones en todo el anillo como requisito previo para tocar gc_grace_seconds
  3. Traslado de la carga de trabajo de cola desde el patrón de partición ancha a particiones por intervalos de tiempo con caducidad basada en TTL
  4. Cambio de las tablas afectadas a una estrategia de compactación adaptada al patrón de escrituras y borrados
  5. Reversión de los umbrales de tombstones elevados para que la situación vuelva a aflorar en lugar de quedar oculta
  6. Compactación dirigida para retirar la acumulación de tombstones existente durante una ventana controlada

Resultado final

Los timeouts de lectura en las tablas afectadas desaparecieron, y la latencia de lectura p99 bajó de forma notable a medida que el número de tombstones recorridos caía varios órdenes de magnitud. Las reparaciones se completan ahora según lo previsto, lo que además eliminó el riesgo de resurrección que el cliente arrastraba sin saberlo.

Tecnologías

Apache CassandraKubernetesPrometheusLinux

¿Se enfrenta a un problema de Apache Cassandra en producción?

Los ingenieros sénior de Apache Cassandra de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.