Volver a todos los casos de uso

RemediaciónManufactura / Automotriz

Corregir el patrón de acceso, no solo subir el umbral de tombstones

Proveedor de telemática para vehículos conectados

Resolución de timeouts de lectura causados por la acumulación de tombstones en particiones usadas como cola, donde los deletes superaban el ritmo de la compactación y de gc_grace_seconds.

Descripción general

Un proveedor de telemática usaba una tabla de Cassandra como cola de trabajo: escribía filas y las eliminaba después de procesarlas. Las consultas de lectura empezaron a agotar el tiempo de espera porque los coordinadores escaneaban decenas de miles de tombstones para devolver unas pocas filas vivas. AceMQ intervino bajo el SLA de emergencia.

Desafío

Los tombstones siguen siendo leídos hasta que transcurre gc_grace_seconds y la compactación los elimina, un mecanismo que existe para evitar que los datos eliminados resuciten en un nodo que no recibió el delete. Los repairs no se estaban completando en todo el anillo, así que bajar gc_grace_seconds implicaba un riesgo real de resurrección. El equipo había ido subiendo los umbrales de advertencia y de falla por tombstones, lo que ocultaba el síntoma mientras el costo real del escaneo seguía creciendo.

Entorno

Clúster de Apache Cassandra multi-datacenter sobre bare metal que ingiere telemetría de vehículos a gran volumen.

Enfoque

AceMQ separó el trabajo de alivio inmediato de la solución duradera. Lograr que el repair se completara de forma confiable era el requisito previo para cualquier cambio en gc_grace_seconds, y el cambio en el modelo de datos era necesario porque una cola sobre una partición ancha genera tombstones más rápido de lo que la compactación puede retirarlos, sin importar la configuración.

Solución

  1. Identificación de las particiones y las formas de consulta concretas que escaneaban la mayor cantidad de tombstones
  2. Restablecimiento de la ejecución confiable del repair en todo el anillo como requisito previo para tocar gc_grace_seconds
  3. Traslado de la carga de cola desde el patrón de partición ancha a particiones por intervalos de tiempo con expiración basada en TTL
  4. Cambio de las tablas afectadas a una estrategia de compactación acorde al patrón de escrituras y deletes
  5. Reversión de los umbrales de tombstones elevados para que la condición vuelva a hacerse visible en lugar de quedar suprimida
  6. Ejecución de una compactación dirigida para retirar el atraso de tombstones existente durante una ventana controlada

Resultado final

Los timeouts de lectura en las tablas afectadas se detuvieron y la latencia de lectura p99 bajó de forma considerable a medida que la cantidad de tombstones escaneados cayó varios órdenes de magnitud. Ahora el repair se completa según lo programado, lo que además eliminó el riesgo de resurrección que el cliente venía cargando sin saberlo.

Tecnologías

Apache CassandraKubernetesPrometheusLinux

¿Enfrenta un problema de Apache Cassandra en producción?

Los ingenieros sénior de Apache Cassandra de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.