Descripción general
Los grupos Raft por partición de Redpanda hacen que la latencia dependa de cómo se distribuye el liderazgo de las particiones. Cuando los líderes se concentran en un subconjunto de brokers, esos nodos se saturan mientras el resto del clúster está ocioso, y la latencia de cola sube mucho antes de que la latencia promedio muestre algo. AceMQ diagnostica y rebalancea.
Desafío
Los picos de latencia aparecen después de un reinicio escalonado, del reemplazo de un nodo o del crecimiento orgánico de las particiones. El liderazgo termina distribuido de forma despareja, así que unos pocos brokers cargan con una parte desproporcionada de las escrituras. Por debajo, puede que la clase de almacenamiento no entregue el throughput de escritura sostenido que el clúster suponía, que los límites de CPU de Kubernetes estén estrangulando los hilos del reactor o que la cantidad de particiones de un topic sea demasiado baja para repartir la carga, sin importar el liderazgo. El síntoma es el mismo en todos los casos.
Entorno
Clústeres de Redpanda sobre Kubernetes o instancias en la nube con NVMe local o almacenamiento conectado por red, al servicio de productores sensibles a la latencia.
Enfoque
AceMQ correlaciona la cantidad de liderazgos por broker, la latencia de escritura en disco y las métricas de CPU throttling con los percentiles de latencia para identificar qué capa está realmente saturada. Primero se rebalancea el liderazgo y se corrige la asignación de particiones; luego se atienden la clase de almacenamiento y los límites de recursos donde el hardware es de verdad la limitación.
Solución
- Análisis de la cantidad de liderazgos Raft y de la distribución de particiones por broker, correlacionado con los percentiles de latencia de produce
- Rebalanceo del liderazgo y reasignación de particiones para repartir la carga de escritura de forma pareja en todo el clúster
- Validación de la latencia de escritura en disco y del throughput sostenido frente a la clase de almacenamiento realmente aprovisionada
- Revisión de los límites de CPU de Kubernetes y de los hilos del reactor para eliminar el throttling de los hilos de shard de seastar
- Revisión de la cantidad de particiones de los topics cuyo paralelismo es demasiado bajo para su throughput, sin importar dónde estén los líderes
- Ajuste de la configuración de batching, linger y acknowledgment de los productores según el requisito de durabilidad, no según los valores por defecto
Resultado final
La latencia de cola vuelve a su rango y se mantiene ahí durante los reinicios escalonados, porque el rebalanceo del liderazgo se aplica como práctica operativa y no como una corrección única. Donde el almacenamiento era la limitación real, la recomendación de dimensionamiento está respaldada por throughput medido.