Descripción general
Una plataforma de intercambio publicitario dependía de Druid para la analítica de pujas casi en tiempo real. El lag del supervisor de Kafka pasaba de segundos a horas en los picos de tráfico, de modo que los dashboards en los que confiaban los traders mostraban datos desfasados justo cuando más importaban. AceMQ intervino bajo el SLA de emergencia.
Reto
El lag tenía varias causas que se sumaban. Los task slots de los Middle Managers estaban agotados porque las tareas de ingesta duraban demasiado y retenían slots que necesitaban las tareas pendientes. Los segmentos que generaban esas tareas eran demasiado grandes, por lo que el handoff al deep storage y la carga en los historicals eran lentos. Las tareas fallidas se reintentaban sobre el mismo pool de slots saturado.
Entorno
Apache Druid en Kubernetes, ingiriendo desde Kafka streams de pujas e impresiones para analítica en tiempo real.
Enfoque
AceMQ rastreó el pipeline de ingesta de extremo a extremo (supervisor, asignación de tareas, publicación de segmentos, handoff y carga en los historicals) para encontrar dónde se acumulaba realmente el tiempo, en lugar de ajustar el supervisor de forma aislada. La capacidad y la forma de las tareas se corrigieron a la vez, ya que arreglar una sin la otra solo traslada la cola de sitio.
Solución
- Rastreo de toda la ruta de ingesta, desde el supervisor hasta el handoff y la carga en los historicals, para localizar el retraso real
- Reequilibrio de la capacidad de los workers de los Middle Managers y de la asignación de task slots según la demanda real de tareas concurrentes
- Ajuste de la duración de las tareas y de la granularidad de los segmentos para que las tareas liberaran slots con una cadencia predecible
- Corrección del tamaño de los segmentos para que el handoff y la carga en los historicals terminaran dentro de la ventana de ingesta
- Separación de la capacidad de ingesta en streaming de la capacidad para tareas batch y de compactación, para que dejaran de competir entre sí
- Instrumentación del lag del supervisor, el uso de task slots y la duración del handoff como señales independientes con alertas
Resultado final
El lag de ingesta volvió al rango de los segundos y se mantuvo así durante los picos de tráfico. Los dashboards de trading reflejan ahora datos actuales en los periodos en que realmente se utilizan.