Descripción general
Una plataforma de procesamiento de transacciones que atiende a clientes bancarios habilitó Kafka y vio cómo el throughput caía aproximadamente siete veces. Agregar instancias del servicio no cambiaba nada: el rendimiento se mantenía plano sin importar cuántas estuvieran en ejecución, que es la señal típica de un cuello de botella y no de un límite de capacidad. Por un plazo de validación, la plataforma tenía que demostrar 80,000 transacciones por hora en menos de una semana.
Desafío
Un rendimiento plano con paralelismo creciente apuntaba a la configuración y no al hardware. El despliegue usaba Kafka 4.0 con KRaft, lo que eliminaba la dependencia de ZooKeeper, pero también cambiaba los parámetros de tuning respecto de las recomendaciones que la mayoría de los equipos tiene incorporadas. La recuperación ante failover tenía que mantenerse con cualquier cambio, ya que se trataba de una carga de trabajo financiera.
Entorno
Kafka 4.0 en modo KRaft como base de una plataforma de procesamiento de transacciones para clientes bancarios, con JMeter para la validación de carga.
Enfoque
El trabajo se centró en identificar por qué las instancias adicionales no producían ninguna mejora y luego en validar cada cambio con un perfil de carga repetible en JMeter, para que la mejora se midiera en lugar de suponerse. El comportamiento ante failover se trató como una restricción del tuning, no como algo secundario.
Solución
- Definición de un perfil de carga repetible en JMeter para medir cada cambio de configuración con la misma línea base
- Investigación de por qué el aumento de instancias del servicio producía un throughput constante, hasta aislar el punto de serialización
- Tuning de la configuración de los producers y los brokers para el patrón de transacciones, en lugar de para un throughput de propósito general
- Validación de la recuperación ante failover bajo carga, para no sacrificar la resiliencia a cambio de velocidad
- Revisión de la configuración específica de KRaft frente a recomendaciones escritas para despliegues de la era de ZooKeeper
Resultado final
La plataforma obtuvo un camino medido para volver a su meta de throughput con la recuperación ante failover intacta, además de un perfil de pruebas de carga que puede volver a ejecutar ante cambios futuros.