Descripción general
Los grupos Raft por partición de Redpanda hacen que la latencia dependa de cómo se reparte el liderazgo de las particiones. Cuando los líderes se concentran en un subconjunto de brokers, esos nodos se saturan mientras el resto del clúster está ocioso, y la latencia de cola sube mucho antes de que la latencia media muestre nada. AceMQ diagnostica y reequilibra.
Reto
Los picos de latencia aparecen tras un reinicio escalonado, la sustitución de un nodo o el crecimiento orgánico de las particiones. El liderazgo acaba repartido de forma desigual, así que unos pocos brokers soportan una carga de escritura desproporcionada. Por debajo, puede que la clase de almacenamiento no ofrezca el rendimiento de escritura sostenido que el clúster daba por hecho, que los límites de CPU de Kubernetes estén limitando los hilos del reactor o que un topic tenga demasiado pocas particiones para repartir la carga sea cual sea el liderazgo. El síntoma es el mismo en todos los casos.
Entorno
Clústeres de Redpanda en Kubernetes o en instancias en la nube con NVMe local o almacenamiento conectado por red, que dan servicio a productores sensibles a la latencia.
Enfoque
AceMQ correlaciona el número de liderazgos por broker, la latencia de escritura en disco y las métricas de limitación de CPU con los percentiles de latencia para identificar qué capa está realmente saturada. Primero se reequilibra el liderazgo y se corrige la asignación de particiones, y después se abordan la clase de almacenamiento y los límites de recursos allí donde el hardware es de verdad el factor limitante.
Solución
- Análisis del número de liderazgos Raft y de la distribución de particiones por broker, correlacionado con los percentiles de latencia de producción
- Reequilibrio del liderazgo y reasignación de particiones para repartir la carga de escritura de forma uniforme en el clúster
- Validación de la latencia de escritura en disco y del rendimiento sostenido frente a la clase de almacenamiento realmente aprovisionada
- Revisión de los límites de CPU de Kubernetes y de los hilos del reactor para eliminar la limitación de los hilos de shard de seastar
- Revisión del número de particiones de los topics cuyo paralelismo es demasiado bajo para su rendimiento, independientemente de dónde esté el liderazgo
- Ajuste del batching, el linger y los acknowledgments de los productores en función del requisito de durabilidad y no de los valores por defecto
Resultado final
La latencia de cola vuelve a su rango y se mantiene así durante los reinicios escalonados, porque el reequilibrio del liderazgo se aplica como práctica operativa y no como una corrección puntual. Donde el almacenamiento era el verdadero factor limitante, la recomendación de dimensionamiento se basa en el rendimiento medido.