Descripción general
Un procesador de pagos ejecutaba el repair como un cron job que lanzaba un repair completo sobre todos los keyspaces. Las ejecuciones superaban con frecuencia la ventana de gc_grace_seconds, se superponían entre sí y se cancelaban cuando saturaban el I/O del clúster. Nadie podía decir cuándo se había reparado el anillo completo por última vez. AceMQ asumió el soporte con ingenieros sénior asignados.
Desafío
Un repair que no termina dentro de gc_grace_seconds no es un problema de mantenimiento menor: significa que los datos borrados pueden volver después de que la compactación elimina los tombstones en algunas réplicas pero no en otras. Los repairs completos sobre un anillo grande y multi-datacenter eran demasiado costosos para terminarse, y el streaming que disparaban competía directamente con el tráfico de producción.
Entorno
Apache Cassandra multi-datacenter, entre on-premise y la nube, como respaldo de los datos del libro de transacciones y de liquidación.
Enfoque
AceMQ reemplazó el repair de todo el anillo por un repair incremental, segmentado y programado, que se podía dosificar según el margen disponible del clúster y reanudar después de una interrupción. La estrategia de compactación y la configuración de throughput se reajustaron por tabla para que el repair y la compactación dejaran de competir por el mismo I/O.
Solución
- Reemplazo de los repairs completos lanzados por cron por un orquestador de repair programado y segmentado que reanuda en lugar de reiniciar
- Dosificación del repair según el margen disponible del clúster, para que dejara de saturar el I/O en horario laboral
- Reajuste de la estrategia de compactación por tabla según los patrones reales de lectura, escritura y borrado, en lugar de la opción por defecto
- Ajuste del throughput de compactación y de la cantidad de compactadores concurrentes según el almacenamiento subyacente
- Instrumentación del tiempo de finalización del repair por keyspace frente a gc_grace_seconds como métrica con seguimiento y alertas
- Escalación 24/7 a ingenieros sénior de Cassandra, sin un triage de nivel 1 en el camino
Resultado final
El repair ahora termina con amplio margen dentro de gc_grace_seconds en todos los keyspaces, y su finalización se mide como métrica en lugar de darse por sentada. El riesgo de resurrección que arrastraba el clúster quedó cerrado, y el repair ya no degrada la latencia de producción mientras se ejecuta.