Volver a todos los casos de uso

SoporteServicios financieros / Pagos

Un repair que termina, con un calendario que se puede demostrar

Procesador de pagos global

Soporte continuo para un repair anti-entropía que nunca terminaba dentro de gc_grace_seconds y dejaba el clúster expuesto a la reaparición de datos borrados.

Descripción general

Un procesador de pagos ejecutaba el repair como una tarea cron que lanzaba un repair completo sobre todos los keyspaces. Las ejecuciones superaban con regularidad la ventana de gc_grace_seconds, se solapaban entre sí y se interrumpían a la fuerza cuando saturaban la E/S del clúster. Nadie sabía decir cuándo se había reparado el anillo completo por última vez. AceMQ asumió el soporte con ingenieros sénior asignados.

Reto

Un repair que no termina dentro de gc_grace_seconds no es un problema de mantenimiento rutinario: significa que los datos borrados pueden volver cuando la compactación retira los tombstones en algunas réplicas pero no en otras. Los repairs completos sobre un anillo grande con varios centros de datos eran demasiado costosos para terminar, y el streaming que desencadenaban competía directamente con el tráfico de producción.

Entorno

Apache Cassandra en varios centros de datos, on-premise y en la nube, como base de los datos del libro de transacciones y de liquidación.

Enfoque

AceMQ sustituyó el repair del anillo completo por un repair incremental, segmentado y programado, que podía dosificarse según el margen disponible del clúster y reanudarse tras una interrupción. La estrategia de compactación y los parámetros de rendimiento se reajustaron por tabla para que el repair y la compactación dejaran de competir por la misma E/S.

Solución

  1. Sustitución de los repairs completos lanzados por cron por un orquestador de repair segmentado y programado que reanuda en lugar de volver a empezar
  2. Dosificación del repair según el margen disponible del clúster para que dejara de saturar la E/S en horario laboral
  3. Reajuste de la estrategia de compactación de cada tabla según sus patrones reales de lectura, escritura y borrado en lugar de la configuración por defecto
  4. Ajuste del rendimiento de compactación y del número de compactadores concurrentes al almacenamiento subyacente
  5. Instrumentación del tiempo de finalización del repair por keyspace frente a gc_grace_seconds como métrica con seguimiento y alertas
  6. Escalado 24/7 a ingenieros sénior de Cassandra sin triaje de nivel 1 de por medio

Resultado final

El repair termina ahora con holgura dentro de gc_grace_seconds en todos los keyspaces, y su finalización se mide como una métrica en lugar de darse por supuesta. El riesgo de reaparición de datos que arrastraba el clúster está cerrado, y el repair ya no degrada la latencia de producción mientras se ejecuta.

Tecnologías

Apache CassandraReaperPrometheusKubernetes

¿Necesita soporte experto de Apache Cassandra?

Los ingenieros sénior de Apache Cassandra de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.