Volver a todos los casos de uso

SoporteServicios financieros

El throughput bajó cuando la plataforma escaló

Plataforma de transacciones bancarias

El throughput cayó de 320,000 a unas 45,000 transacciones por hora después de introducir Kafka. La plataforma necesitaba 80,000 para demostrar que podía escalar.

Descripción general

Una plataforma de procesamiento de transacciones que atiende a clientes bancarios habilitó Kafka y vio cómo el throughput caía aproximadamente siete veces. Agregar instancias del servicio no cambiaba nada: el rendimiento se mantenía plano sin importar cuántas estuvieran en ejecución, que es la señal típica de un cuello de botella y no de un límite de capacidad. Por un plazo de validación, la plataforma tenía que demostrar 80,000 transacciones por hora en menos de una semana.

Desafío

Un rendimiento plano con paralelismo creciente apuntaba a la configuración y no al hardware. El despliegue usaba Kafka 4.0 con KRaft, lo que eliminaba la dependencia de ZooKeeper, pero también cambiaba los parámetros de tuning respecto de las recomendaciones que la mayoría de los equipos tiene incorporadas. La recuperación ante failover tenía que mantenerse con cualquier cambio, ya que se trataba de una carga de trabajo financiera.

Entorno

Kafka 4.0 en modo KRaft como base de una plataforma de procesamiento de transacciones para clientes bancarios, con JMeter para la validación de carga.

Enfoque

El trabajo se centró en identificar por qué las instancias adicionales no producían ninguna mejora y luego en validar cada cambio con un perfil de carga repetible en JMeter, para que la mejora se midiera en lugar de suponerse. El comportamiento ante failover se trató como una restricción del tuning, no como algo secundario.

Solución

  1. Definición de un perfil de carga repetible en JMeter para medir cada cambio de configuración con la misma línea base
  2. Investigación de por qué el aumento de instancias del servicio producía un throughput constante, hasta aislar el punto de serialización
  3. Tuning de la configuración de los producers y los brokers para el patrón de transacciones, en lugar de para un throughput de propósito general
  4. Validación de la recuperación ante failover bajo carga, para no sacrificar la resiliencia a cambio de velocidad
  5. Revisión de la configuración específica de KRaft frente a recomendaciones escritas para despliegues de la era de ZooKeeper

Resultado final

La plataforma obtuvo un camino medido para volver a su meta de throughput con la recuperación ante failover intacta, además de un perfil de pruebas de carga que puede volver a ejecutar ante cambios futuros.

Tecnologías

Apache KafkaKRaftJMeter

¿Necesita soporte experto de Apache Kafka?

Los ingenieros sénior de Apache Kafka de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.