Volver a todos los casos de uso

SoporteMultisectorial

Ingenieros sénior asignados de guardia para incidentes de consultas y del Broker en Druid

Proveedor de analítica para retail

Soporte continuo ante timeouts del Broker y una latencia de consultas impredecible, provocados por el tamaño de los segmentos, el comportamiento de la caché y la contención de los hilos de procesamiento.

Descripción general

Un proveedor de analítica para retail ofrecía a sus propios clientes dashboards respaldados por Druid, de modo que la latencia de las consultas era una característica del producto y no un tema interno. Los timeouts del Broker aparecían de forma impredecible y el equipo no lograba reproducirlos. AceMQ asumió el soporte con ingenieros sénior asignados y escalamiento directo.

Desafío

La latencia de las consultas en Druid depende de cuántos segmentos toca una consulta, de qué tan bien dimensionados están esos segmentos, de si los resultados salen de la caché y de si hay contención en los hilos de procesamiento de los nodos Historical. Los timeouts coincidían con datasources cuyos segmentos eran a la vez demasiados y demasiado pequeños, de modo que la sobrecarga por segmento superaba al trabajo real. Además, la configuración de la caché se anulaba a sí misma en los patrones de consulta de mayor volumen.

Entorno

Apache Druid en AWS como base de dashboards de analítica para clientes finales, con expectativas de latencia publicadas.

Enfoque

AceMQ instrumentó la cantidad de segmentos y los tiempos de escaneo por consulta para distinguir las consultas realmente costosas de las que pagaban sobrecarga por segmentos fragmentados. A partir de ahí, el soporte cubrió tanto la respuesta operativa a los timeouts como el trabajo estructural necesario para dejar de generarlos.

Solución

  1. Instrumentación de la cantidad de segmentos y de los tiempos de escaneo por consulta para separar el trabajo real de la sobrecarga por segmento
  2. Identificación de datasources con segmentos fragmentados y programación de compactación para llevarlos al rango de tamaño objetivo
  3. Reajuste de la cantidad de hilos de procesamiento y del tamaño de los buffers de los nodos Historical según los tipos de instancia subyacentes
  4. Corrección de la configuración de caché del Broker y de los Historical, que se anulaba a sí misma en los patrones de alto volumen
  5. Definición de políticas de timeout, prioridad y laning de consultas para que las consultas ad hoc pesadas no dejen sin recursos a los dashboards
  6. Escalamiento 24/7 a ingenieros sénior de Druid, sin triaje de nivel 1 de por medio

Resultado final

Los timeouts del Broker pasaron a ser excepcionales y la latencia p99 de los dashboards se redujo aproximadamente a la mitad a medida que se eliminó la fragmentación de segmentos. El laning de consultas evita que el análisis ad hoc pesado afecte la ruta de cara al cliente, incluso cuando se ejecuta en horario laboral.

Tecnologías

Apache DruidKafkaKubernetesPrometheus

¿Necesita soporte experto de Apache Druid?

Los ingenieros sénior de Apache Druid de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.