Descripción general
El clúster de Druid de un operador de telecomunicaciones había acumulado años de telemetría de red sin ninguna política de compactación. La cantidad de segmentos había llegado a millones, el trabajo del coordinator crecía con ella y cada consulta pagaba un overhead proporcional a la cantidad de segmentos y no al volumen de datos. AceMQ diseñó una estrategia de granularidad y compactación.
Desafío
La ingesta en streaming produce de forma natural segmentos pequeños, dimensionados según la ventana de ingesta y no según lo que necesitan las consultas. Sin compactación, esos segmentos persisten indefinidamente. El rediseño tenía que elegir granularidades acordes a los rangos de tiempo reales de las consultas, definir un particionamiento secundario que mejorara el pruning y programar la compactación para que no compitiera con la ingesta por la capacidad de tareas.
Entorno
Clúster de Apache Druid on-premise que almacena varios años de telemetría de rendimiento de red y de suscriptores.
Enfoque
AceMQ analizó la distribución de los rangos de tiempo de las consultas en cada datasource para elegir granularidades de segmento acordes a la forma en que realmente se consultaban los datos, y luego diseñó la auto-compaction con reservas explícitas de capacidad de tareas para que se ejecutara de forma continua sin dejar sin recursos a la ingesta.
Solución
- Análisis de la distribución de rangos de tiempo de las consultas por datasource para elegir la granularidad de segmento con evidencia y no por convención
- Definición de un particionamiento secundario sobre las dimensiones por las que más filtran las consultas, lo que mejora el pruning dentro de los segmentos
- Configuración de la auto-compaction con tamaños de segmento objetivo y capacidad de tareas reservada de forma explícita
- Programación de la compactación del backlog histórico en fases acotadas para no sobrecargar el clúster
- Definición de la política de rollup y agregación de métricas por datasource para reducir el tamaño de los segmentos donde la granularidad de las consultas lo permite
- Cantidad de segmentos y tamaño promedio de segmento por datasource establecidos como métricas operativas con seguimiento
Resultado final
La cantidad de segmentos bajó drásticamente a medida que se compactaba el backlog, y la auto-compaction ahora la mantiene estable a medida que llegan datos nuevos. La carga del coordinator bajó, y el overhead de las consultas escala con el volumen de datos y no con la cantidad de segmentos.