Descripción general
El clúster de Druid de un operador de telecomunicaciones había acumulado años de telemetría de red sin ninguna política de compactación. El número de segmentos había llegado a los millones, el trabajo del coordinator había crecido con él y cada consulta pagaba una sobrecarga proporcional al número de segmentos y no al volumen de datos. AceMQ diseñó una estrategia de granularidad y compactación.
Reto
La ingesta en streaming produce de forma natural segmentos pequeños, dimensionados según la ventana de ingesta y no según lo que necesitan las consultas. Sin compactación, esos segmentos persisten indefinidamente. El rediseño tenía que elegir granularidades acordes con los rangos temporales reales de las consultas, definir un particionado secundario que mejorara la poda y programar la compactación para que no compitiera con la ingesta por la capacidad de tareas.
Entorno
Clúster de Apache Druid on-premise que almacena varios años de telemetría de rendimiento de la red y de los abonados.
Enfoque
AceMQ analizó la distribución de los rangos temporales de las consultas en cada datasource para elegir granularidades de segmento que reflejaran cómo se consultaban realmente los datos, y después diseñó la auto-compaction con reservas explícitas de capacidad de tareas para que se ejecutara de forma continua sin dejar sin recursos a la ingesta.
Solución
- Análisis de la distribución de los rangos temporales de las consultas en cada datasource para elegir la granularidad de los segmentos a partir de datos y no por costumbre
- Definición del particionado secundario sobre las dimensiones por las que más filtran las consultas, lo que mejora la poda dentro de los segmentos
- Configuración de la auto-compaction con tamaños objetivo de segmento y capacidad de tareas reservada de forma explícita
- Programación de la compactación del backlog histórico en fases acotadas para no saturar el clúster
- Definición de la política de rollup y de agregación de métricas por datasource para reducir el tamaño de los segmentos donde la granularidad de las consultas lo permite
- Número de segmentos y tamaño medio de segmento por datasource establecidos como métricas operativas con seguimiento
Resultado final
El número de segmentos cayó drásticamente a medida que se compactaba el backlog, y la auto-compaction lo mantiene ahora estable conforme llegan datos nuevos. La carga del coordinator bajó y la sobrecarga de las consultas escala con el volumen de datos y no con el número de segmentos.