Volver a todos los casos de uso

RemediaciónVideojuegos / Entretenimiento

Cuando la latencia p99 de produce se dispara, lo primero que hay que mirar es la distribución del liderazgo

Plataforma de juegos en línea

Resolución de picos de latencia de produce y consume cuyo origen eran el desbalance del liderazgo Raft, la saturación de disco y la distribución de particiones entre brokers.

Descripción general

Los grupos Raft por partición de Redpanda hacen que la latencia dependa de cómo se distribuye el liderazgo de las particiones. Cuando los líderes se concentran en un subconjunto de brokers, esos nodos se saturan mientras el resto del clúster está ocioso, y la latencia de cola sube mucho antes de que la latencia promedio muestre algo. AceMQ diagnostica y rebalancea.

Desafío

Los picos de latencia aparecen después de un reinicio escalonado, del reemplazo de un nodo o del crecimiento orgánico de las particiones. El liderazgo termina distribuido de forma despareja, así que unos pocos brokers cargan con una parte desproporcionada de las escrituras. Por debajo, puede que la clase de almacenamiento no entregue el throughput de escritura sostenido que el clúster suponía, que los límites de CPU de Kubernetes estén estrangulando los hilos del reactor o que la cantidad de particiones de un topic sea demasiado baja para repartir la carga, sin importar el liderazgo. El síntoma es el mismo en todos los casos.

Entorno

Clústeres de Redpanda sobre Kubernetes o instancias en la nube con NVMe local o almacenamiento conectado por red, al servicio de productores sensibles a la latencia.

Enfoque

AceMQ correlaciona la cantidad de liderazgos por broker, la latencia de escritura en disco y las métricas de CPU throttling con los percentiles de latencia para identificar qué capa está realmente saturada. Primero se rebalancea el liderazgo y se corrige la asignación de particiones; luego se atienden la clase de almacenamiento y los límites de recursos donde el hardware es de verdad la limitación.

Solución

  1. Análisis de la cantidad de liderazgos Raft y de la distribución de particiones por broker, correlacionado con los percentiles de latencia de produce
  2. Rebalanceo del liderazgo y reasignación de particiones para repartir la carga de escritura de forma pareja en todo el clúster
  3. Validación de la latencia de escritura en disco y del throughput sostenido frente a la clase de almacenamiento realmente aprovisionada
  4. Revisión de los límites de CPU de Kubernetes y de los hilos del reactor para eliminar el throttling de los hilos de shard de seastar
  5. Revisión de la cantidad de particiones de los topics cuyo paralelismo es demasiado bajo para su throughput, sin importar dónde estén los líderes
  6. Ajuste de la configuración de batching, linger y acknowledgment de los productores según el requisito de durabilidad, no según los valores por defecto

Resultado final

La latencia de cola vuelve a su rango y se mantiene ahí durante los reinicios escalonados, porque el rebalanceo del liderazgo se aplica como práctica operativa y no como una corrección única. Donde el almacenamiento era la limitación real, la recomendación de dimensionamiento está respaldada por throughput medido.

Tecnologías

RedpandaKubernetesApache Kafka

¿Enfrenta un problema de Redpanda en producción?

Los ingenieros sénior de Redpanda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.