Descripción general
Una compañía eléctrica conservaba en Druid siete años de telemetría de contadores y de red, con todos los segmentos alojados en nodos historicals idénticos y con el mismo factor de replicación, independientemente de su antigüedad. El coste de la infraestructura crecía de forma lineal con la retención, mientras que el volumen de consultas sobre los datos antiguos era insignificante. AceMQ evaluó las opciones de almacenamiento por niveles.
Reto
El almacenamiento por niveles solo funciona si se conoce la distribución real de los accesos, y las suposiciones al respecto suelen ser erróneas: las consultas regulatorias sobre datos antiguos son poco frecuentes, pero aun así deben resolverse dentro de un plazo definido. La evaluación tenía que establecer los patrones de acceso reales según la antigüedad de los datos y, después, determinar qué configuraciones por niveles mantenían el comportamiento de consulta necesario con un coste menor.
Entorno
Apache Druid sobre hardware on-premises y almacenamiento de objetos en la nube, con varios años de telemetría de red y de contadores.
Enfoque
AceMQ analizó los logs de consultas para construir una distribución de accesos por antigüedad de los segmentos, en lugar de basarse en las expectativas declaradas, y modeló las configuraciones por niveles tanto en coste como en el comportamiento de consulta que produciría cada una, incluidos los tiempos de respuesta del nivel frío para los accesos regulatorios.
Solución
- Construcción de una distribución de accesos por antigüedad de los segmentos a partir de los logs de consultas reales y no de suposiciones
- Modelado de niveles de historicals caliente, templado y frío con load rules ajustadas al patrón de acceso medido
- Evaluación de factores de replicación reducidos en los niveles fríos frente a los requisitos de disponibilidad y recuperación
- Evaluación de la consulta directa desde el deep storage como opción para los datos más fríos, midiendo sus características de respuesta
- Revisión de las reglas de retención y de eliminación frente a las obligaciones regulatorias de conservación
- Entrega de un modelo de coste y rendimiento para cada opción de niveles, con las contrapartidas expuestas de forma explícita
Resultado final
La compañía obtuvo un plan de almacenamiento por niveles basado en accesos medidos y no en suposiciones, con una vía clara para reducir la huella de nodos historicals manteniendo las consultas regulatorias dentro del plazo de respuesta exigido. Las contrapartidas se expusieron desde el principio en lugar de descubrirse tras la implantación.