Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Añadir nodos no lo había resuelto

Proveedor europeo de hosting

Un clúster de Kafka de cinco nodos que daba servicio a 60.000 clientes provocaba timeouts en los productores bajo carga. La causa era la topología, no la capacidad.

Descripción general

Un proveedor de hosting que gestionaba unos 2.000 servidores para 60.000 clientes había ampliado su despliegue de Kafka de uno a cinco nodos a medida que crecía la demanda, y aun así seguía sufriendo timeouts frecuentes en los productores. El primer instinto, añadir capacidad, ya se había probado.

Reto

El clúster funcionaba con un factor de replicación de cuatro sobre cinco nodos, con brokers y controllers en los mismos nodos. Eso hacía que el controller líder soportara un número inusualmente alto de conexiones activas además de sus tareas de replicación, y era la concentración de conexiones, y no el rendimiento bruto, lo que producía los timeouts. A ello se sumaban reelecciones y movimientos de topics, que se interpretaban como inestabilidad y no como un síntoma de la misma causa.

Entorno

Clúster de Kafka de cinco nodos desplegado con Docker sobre servidores físicos, que da soporte a un gran entorno de hosting compartido.

Enfoque

AceMQ revisó las decisiones de replicación y de topología frente a lo que la carga de trabajo necesitaba realmente, en lugar de hacer ajustes alrededor del síntoma. Las recomendaciones se ordenaron de forma que cada una pudiera validarse con las métricas de estabilidad del clúster antes de aplicar la siguiente.

Solución

  1. Reducción del factor de replicación de cuatro a tres, acorde con los requisitos de durabilidad y sin sobrerreplicar cada partición
  2. Separación de los roles de broker y de controller para que el trabajo del controller dejara de competir con el servicio del tráfico
  3. Mantenimiento de un mínimo de tres nodos broker para preservar las garantías de disponibilidad durante el cambio
  4. Ajuste de la configuración de hilos para mejorar la capacidad de respuesta con carga de conexiones
  5. Frecuencia de reelecciones y movimientos de topics establecidos como las métricas que vigilar al validar cada paso

Resultado final

Los timeouts de los productores se resolvieron en su origen en lugar de enmascararse con más capacidad, y el equipo dispone ahora de un conjunto claro de señales para detectar pronto cualquier repetición.

Tecnologías

Apache KafkaDockerLinux

¿Necesita soporte experto de Apache Kafka?

Los ingenieros sénior de Apache Kafka de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.