Descripción general
Un proveedor de hosting que gestionaba unos 2.000 servidores para 60.000 clientes había ampliado su despliegue de Kafka de uno a cinco nodos a medida que crecía la demanda, y aun así seguía sufriendo timeouts frecuentes en los productores. El primer instinto, añadir capacidad, ya se había probado.
Reto
El clúster funcionaba con un factor de replicación de cuatro sobre cinco nodos, con brokers y controllers en los mismos nodos. Eso hacía que el controller líder soportara un número inusualmente alto de conexiones activas además de sus tareas de replicación, y era la concentración de conexiones, y no el rendimiento bruto, lo que producía los timeouts. A ello se sumaban reelecciones y movimientos de topics, que se interpretaban como inestabilidad y no como un síntoma de la misma causa.
Entorno
Clúster de Kafka de cinco nodos desplegado con Docker sobre servidores físicos, que da soporte a un gran entorno de hosting compartido.
Enfoque
AceMQ revisó las decisiones de replicación y de topología frente a lo que la carga de trabajo necesitaba realmente, en lugar de hacer ajustes alrededor del síntoma. Las recomendaciones se ordenaron de forma que cada una pudiera validarse con las métricas de estabilidad del clúster antes de aplicar la siguiente.
Solución
- Reducción del factor de replicación de cuatro a tres, acorde con los requisitos de durabilidad y sin sobrerreplicar cada partición
- Separación de los roles de broker y de controller para que el trabajo del controller dejara de competir con el servicio del tráfico
- Mantenimiento de un mínimo de tres nodos broker para preservar las garantías de disponibilidad durante el cambio
- Ajuste de la configuración de hilos para mejorar la capacidad de respuesta con carga de conexiones
- Frecuencia de reelecciones y movimientos de topics establecidos como las métricas que vigilar al validar cada paso
Resultado final
Los timeouts de los productores se resolvieron en su origen en lugar de enmascararse con más capacidad, y el equipo dispone ahora de un conjunto claro de señales para detectar pronto cualquier repetición.