Descripción general
Una empresa de servicios de energía conservaba siete años de telemetría de medidores y de la red eléctrica en Druid, con todos los segmentos alojados en nodos historical idénticos y con el mismo factor de replicación, sin importar su antigüedad. El costo de infraestructura crecía de forma lineal con la retención, mientras que el volumen de consultas sobre los datos más antiguos era insignificante. AceMQ evaluó las opciones de almacenamiento por niveles.
Desafío
El almacenamiento por niveles solo funciona si se conoce la distribución real de accesos, y los supuestos al respecto suelen ser incorrectos: las consultas regulatorias sobre datos antiguos son poco frecuentes, pero aun así deben completarse dentro de un tiempo definido. La evaluación tenía que establecer los patrones de acceso reales según la antigüedad de los datos y luego determinar qué configuraciones de niveles conservaban el comportamiento de consulta requerido a un costo menor.
Entorno
Apache Druid sobre hardware on-premises y almacenamiento de objetos en la nube, con varios años de telemetría de la red y de los medidores.
Enfoque
AceMQ analizó los logs de consultas para construir una distribución de accesos según la antigüedad de los segmentos, en lugar de basarse en las expectativas declaradas, y luego modeló configuraciones de niveles en función tanto del costo como del comportamiento de consulta que produciría cada una, incluidos los tiempos de respuesta del nivel frío para los accesos regulatorios.
Solución
- Construcción de una distribución de accesos según la antigüedad de los segmentos a partir de los logs de consultas reales, no de supuestos declarados
- Modelado de niveles hot, warm y cold de historicals con load rules alineadas al patrón de acceso medido
- Evaluación de factores de replicación reducidos en los niveles fríos frente a los requisitos de disponibilidad y recuperación
- Evaluación de la consulta directa desde deep storage como opción para los datos más fríos y medición de sus características de respuesta
- Revisión de las reglas de retención y eliminación frente a las obligaciones regulatorias de retención
- Entrega de un modelo de costo y rendimiento para cada opción de niveles, con las ventajas y desventajas expresadas de forma explícita
Resultado final
La empresa obtuvo un plan de almacenamiento por niveles basado en accesos medidos y no en supuestos, con un camino claro para reducir la cantidad de nodos historical sin que las consultas regulatorias salieran de su ventana de respuesta requerida. Las ventajas y desventajas se plantearon desde el principio, en lugar de descubrirse después de la implementación.