Volver a todos los casos de uso

SoporteMultisectorial

Ingenieros sénior asignados de guardia para incidentes de consultas y del broker de Druid

Proveedor de analítica para retail

Soporte continuo ante timeouts del broker y una latencia de consultas impredecible causados por el tamaño de los segmentos, el comportamiento de la caché y la contención de los hilos de procesamiento.

Descripción general

Un proveedor de analítica para retail ofrecía a sus propios clientes paneles respaldados por Druid, de modo que la latencia de las consultas era una característica del producto y no una cuestión interna. Los timeouts del broker aparecían de forma impredecible y el equipo no conseguía reproducirlos. AceMQ asumió el soporte con ingenieros sénior asignados y escalado directo.

Reto

La latencia de las consultas en Druid depende de cuántos segmentos toca una consulta, de lo bien dimensionados que estén esos segmentos, de si los resultados salen de la caché y de si hay contención en los hilos de procesamiento de los nodos historical. Los timeouts coincidían con datasources cuyos segmentos eran a la vez demasiado numerosos y demasiado pequeños, de modo que la sobrecarga por segmento pesaba más que el trabajo real. Además, la configuración de la caché se anulaba a sí misma en los patrones de consulta de mayor volumen.

Entorno

Apache Druid en AWS al servicio de paneles de analítica para clientes con expectativas de latencia publicadas.

Enfoque

AceMQ instrumentó el número de segmentos y los tiempos de escaneo de cada consulta para distinguir las consultas realmente costosas de las que pagaban sobrecarga por trabajar sobre segmentos fragmentados. A partir de ahí, el soporte cubrió tanto la respuesta operativa a los timeouts como el trabajo estructural necesario para dejar de generarlos.

Solución

  1. Instrumentación del número de segmentos y de los tiempos de escaneo por consulta para separar el trabajo real de la sobrecarga por segmento
  2. Identificación de los datasources con segmentos fragmentados y programación de compactaciones para llevarlos al rango de tamaño objetivo
  3. Reajuste del número de hilos de procesamiento de los historical y del tamaño de los búferes en función de los tipos de instancia subyacentes
  4. Corrección de la configuración de caché del broker y de los historical, que se anulaba a sí misma en los patrones de alto volumen
  5. Definición de políticas de timeout, prioridad y laning de consultas para que las consultas ad hoc pesadas no dejen sin recursos a los paneles
  6. Escalado 24/7 a ingenieros sénior de Druid, sin triaje de nivel 1 por medio

Resultado final

Los timeouts del broker pasaron a ser excepcionales y la latencia p99 de los paneles se redujo aproximadamente a la mitad a medida que se eliminaba la fragmentación de segmentos. El laning de consultas impide que el análisis ad hoc pesado afecte a la ruta de cara al cliente, incluso cuando se ejecuta en horario laboral.

Tecnologías

Apache DruidKafkaKubernetesPrometheus

¿Necesita soporte experto de Apache Druid?

Los ingenieros sénior de Apache Druid de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.