Descripción general
Un exchange de publicidad dependía de Druid para la analítica de pujas casi en tiempo real. El retraso de los supervisors de Kafka pasaba de segundos a horas durante los picos de tráfico, de modo que los dashboards en los que se apoyaban los traders mostraban datos desactualizados justo cuando más importaba. AceMQ intervino bajo el SLA de emergencia.
Desafío
El retraso tenía varias causas que se potenciaban entre sí. Los task slots de los Middle Managers estaban agotados porque las tareas de ingesta se extendían demasiado y retenían slots que necesitaban las tareas pendientes. Los segmentos que producían esas tareas eran demasiado grandes, por lo que el handoff a deep storage y la carga en los historicals eran lentos. Las tareas fallidas se reintentaban dentro del mismo pool de slots saturado.
Entorno
Apache Druid en Kubernetes que ingiere flujos de pujas e impresiones desde Kafka para analítica en tiempo real.
Enfoque
AceMQ rastreó el pipeline de ingesta de punta a punta (supervisor, asignación de tareas, publicación de segmentos, handoff y carga en los historicals) para encontrar dónde se acumulaba realmente el tiempo, en lugar de ajustar el supervisor de forma aislada. La capacidad y la forma de las tareas se corrigieron en conjunto, ya que corregir una sin la otra solo traslada la cola a otro lugar.
Solución
- Rastreo de toda la ruta de ingesta, desde el supervisor hasta el handoff y la carga en los historicals, para ubicar el retraso real
- Rebalanceo de la capacidad de workers de los Middle Managers y de la asignación de task slots según la demanda real de tareas concurrentes
- Ajuste de la duración de las tareas y de la granularidad de los segmentos para que las tareas liberaran slots con una cadencia predecible
- Corrección del tamaño de los segmentos para que el handoff y la carga en los historicals se completaran dentro de la ventana de ingesta
- Separación de la capacidad de ingesta en streaming de la capacidad para tareas batch y de compactación, para que dejaran de competir entre sí
- Instrumentación del retraso de los supervisors, el uso de task slots y la duración del handoff como señales independientes con alertas
Resultado final
El retraso de la ingesta volvió al rango de los segundos y se mantuvo allí durante los picos de tráfico. Los dashboards de trading ahora reflejan datos actuales en los períodos en que realmente se usan.