Descripción general
Un proveedor de analítica para retail ofrecía a sus propios clientes paneles respaldados por Druid, de modo que la latencia de las consultas era una característica del producto y no una cuestión interna. Los timeouts del broker aparecían de forma impredecible y el equipo no conseguía reproducirlos. AceMQ asumió el soporte con ingenieros sénior asignados y escalado directo.
Reto
La latencia de las consultas en Druid depende de cuántos segmentos toca una consulta, de lo bien dimensionados que estén esos segmentos, de si los resultados salen de la caché y de si hay contención en los hilos de procesamiento de los nodos historical. Los timeouts coincidían con datasources cuyos segmentos eran a la vez demasiado numerosos y demasiado pequeños, de modo que la sobrecarga por segmento pesaba más que el trabajo real. Además, la configuración de la caché se anulaba a sí misma en los patrones de consulta de mayor volumen.
Entorno
Apache Druid en AWS al servicio de paneles de analítica para clientes con expectativas de latencia publicadas.
Enfoque
AceMQ instrumentó el número de segmentos y los tiempos de escaneo de cada consulta para distinguir las consultas realmente costosas de las que pagaban sobrecarga por trabajar sobre segmentos fragmentados. A partir de ahí, el soporte cubrió tanto la respuesta operativa a los timeouts como el trabajo estructural necesario para dejar de generarlos.
Solución
- Instrumentación del número de segmentos y de los tiempos de escaneo por consulta para separar el trabajo real de la sobrecarga por segmento
- Identificación de los datasources con segmentos fragmentados y programación de compactaciones para llevarlos al rango de tamaño objetivo
- Reajuste del número de hilos de procesamiento de los historical y del tamaño de los búferes en función de los tipos de instancia subyacentes
- Corrección de la configuración de caché del broker y de los historical, que se anulaba a sí misma en los patrones de alto volumen
- Definición de políticas de timeout, prioridad y laning de consultas para que las consultas ad hoc pesadas no dejen sin recursos a los paneles
- Escalado 24/7 a ingenieros sénior de Druid, sin triaje de nivel 1 por medio
Resultado final
Los timeouts del broker pasaron a ser excepcionales y la latencia p99 de los paneles se redujo aproximadamente a la mitad a medida que se eliminaba la fragmentación de segmentos. El laning de consultas impide que el análisis ad hoc pesado afecte a la ruta de cara al cliente, incluso cuando se ejecuta en horario laboral.