Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

La ingesta en tiempo real, de vuelta dentro de su presupuesto de latencia

Exchange de publicidad digital

Resolución del retraso de los supervisors de Kafka causado por el agotamiento de task slots, tareas de ingesta sobredimensionadas y fallas en el handoff a deep storage.

Descripción general

Un exchange de publicidad dependía de Druid para la analítica de pujas casi en tiempo real. El retraso de los supervisors de Kafka pasaba de segundos a horas durante los picos de tráfico, de modo que los dashboards en los que se apoyaban los traders mostraban datos desactualizados justo cuando más importaba. AceMQ intervino bajo el SLA de emergencia.

Desafío

El retraso tenía varias causas que se potenciaban entre sí. Los task slots de los Middle Managers estaban agotados porque las tareas de ingesta se extendían demasiado y retenían slots que necesitaban las tareas pendientes. Los segmentos que producían esas tareas eran demasiado grandes, por lo que el handoff a deep storage y la carga en los historicals eran lentos. Las tareas fallidas se reintentaban dentro del mismo pool de slots saturado.

Entorno

Apache Druid en Kubernetes que ingiere flujos de pujas e impresiones desde Kafka para analítica en tiempo real.

Enfoque

AceMQ rastreó el pipeline de ingesta de punta a punta (supervisor, asignación de tareas, publicación de segmentos, handoff y carga en los historicals) para encontrar dónde se acumulaba realmente el tiempo, en lugar de ajustar el supervisor de forma aislada. La capacidad y la forma de las tareas se corrigieron en conjunto, ya que corregir una sin la otra solo traslada la cola a otro lugar.

Solución

  1. Rastreo de toda la ruta de ingesta, desde el supervisor hasta el handoff y la carga en los historicals, para ubicar el retraso real
  2. Rebalanceo de la capacidad de workers de los Middle Managers y de la asignación de task slots según la demanda real de tareas concurrentes
  3. Ajuste de la duración de las tareas y de la granularidad de los segmentos para que las tareas liberaran slots con una cadencia predecible
  4. Corrección del tamaño de los segmentos para que el handoff y la carga en los historicals se completaran dentro de la ventana de ingesta
  5. Separación de la capacidad de ingesta en streaming de la capacidad para tareas batch y de compactación, para que dejaran de competir entre sí
  6. Instrumentación del retraso de los supervisors, el uso de task slots y la duración del handoff como señales independientes con alertas

Resultado final

El retraso de la ingesta volvió al rango de los segundos y se mantuvo allí durante los picos de tráfico. Los dashboards de trading ahora reflejan datos actuales en los períodos en que realmente se usan.

Tecnologías

Apache DruidKafkaKubernetesPrometheus

¿Enfrenta un problema de Apache Druid en producción?

Los ingenieros sénior de Apache Druid de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.