Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Agregar nodos no lo había resuelto

Proveedor europeo de hosting

Un clúster de Kafka de cinco nodos que atendía a 60,000 clientes presentaba timeouts de productores bajo carga. La causa era la topología, no la capacidad.

Descripción general

Un proveedor de hosting que opera alrededor de 2,000 servidores para 60,000 clientes había escalado su despliegue de Kafka de uno a cinco nodos a medida que crecía la demanda, y seguía viendo timeouts frecuentes en los productores. La reacción instintiva, agregar capacidad, ya se había intentado.

Desafío

El clúster usaba un factor de replicación de cuatro en cinco nodos, con brokers y controladores en los mismos nodos. Eso hacía que el líder del controlador cargara con una cantidad inusualmente alta de conexiones activas además de sus tareas de replicación, y era esa concentración de conexiones, más que el throughput bruto, lo que provocaba los timeouts. A eso se sumaban reelecciones y reasignaciones de topics, que parecían inestabilidad y no un síntoma de la misma causa.

Entorno

Clúster de Kafka de cinco nodos desplegado con Docker sobre servidores físicos, al servicio de una gran plataforma de hosting compartido.

Enfoque

AceMQ revisó las decisiones de replicación y topología frente a lo que la carga de trabajo realmente requería, en lugar de ajustar la configuración para disimular el síntoma. Las recomendaciones se aplicaron en secuencia para que cada una pudiera validarse con las métricas de estabilidad del clúster antes de aplicar la siguiente.

Solución

  1. Reducción del factor de replicación de cuatro a tres, acorde con los requisitos de durabilidad y sin sobrerreplicar cada partición
  2. Separación de los roles de broker y controlador para que el trabajo del controlador ya no compitiera con la atención del tráfico
  3. Mantenimiento de un mínimo de tres nodos broker para preservar las garantías de disponibilidad durante el cambio
  4. Ajuste de la configuración de threads para mejorar la capacidad de respuesta bajo carga de conexiones
  5. Definición de la frecuencia de reelecciones y de las reasignaciones de topics como métricas a vigilar al validar cada paso

Resultado final

Los timeouts de los productores se atacaron en su origen en lugar de ocultarse con más capacidad, y el equipo obtuvo un conjunto claro de señales para detectar a tiempo si el problema vuelve a aparecer.

Tecnologías

Apache KafkaDockerLinux

¿Necesita soporte experto de Apache Kafka?

Los ingenieros sénior de Apache Kafka de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.