Descripción general
Una plataforma de procesamiento de transacciones al servicio de clientes bancarios activó Kafka y vio cómo el throughput caía aproximadamente siete veces. Añadir instancias del servicio no cambiaba nada: el rendimiento se mantenía plano con independencia de cuántas hubiera en ejecución, que es la firma de un cuello de botella y no de un límite de capacidad. Un plazo de validación obligaba a la plataforma a demostrar 80.000 transacciones por hora en una semana.
Reto
Un rendimiento plano con un paralelismo creciente apuntaba a la configuración y no al hardware. El despliegue ejecutaba Kafka 4.0 con KRaft, lo que eliminaba la dependencia de ZooKeeper pero también cambiaba los parámetros de ajuste respecto a las recomendaciones que la mayoría de los equipos tienen interiorizadas. La recuperación ante failover tenía que mantenerse con cualquier cambio, ya que se trataba de una carga de trabajo financiera.
Entorno
Kafka 4.0 en modo KRaft como base de una plataforma de procesamiento de transacciones para clientes bancarios, con JMeter para la validación de carga.
Enfoque
El trabajo se centró en averiguar por qué las instancias añadidas no aportaban ninguna mejora y, después, en validar cada cambio con un perfil de carga de JMeter repetible, para que la mejora se midiera y no se supusiera. El comportamiento ante failover se trató como una restricción del ajuste y no como algo secundario.
Solución
- Definición de un perfil de carga repetible en JMeter para medir cada cambio de configuración frente a la misma línea base
- Investigación de por qué más instancias del servicio producían un throughput constante, aislando el punto de serialización
- Ajuste de la configuración del productor y del broker para el patrón de transacciones y no para un throughput de uso general
- Validación de la recuperación ante failover bajo carga, para no sacrificar la resiliencia a cambio de velocidad
- Revisión de la configuración específica de KRaft frente a recomendaciones escritas para despliegues de la época de ZooKeeper
Resultado final
La plataforma obtuvo una vía medida para volver hacia su objetivo de throughput con la recuperación ante failover intacta, además de un perfil de pruebas de carga que puede volver a ejecutar ante futuros cambios.