Volver a todos los casos de uso

EvaluaciónEnergía / Servicios públicos

Ajustar el nivel de almacenamiento a la frecuencia con la que realmente se leen los datos

Compañía eléctrica

Evaluación de los niveles de historicals, las reglas de retención y los factores de replicación para ajustar el coste de la infraestructura a la forma en que realmente se consultan los datos a lo largo del tiempo.

Descripción general

Una compañía eléctrica conservaba en Druid siete años de telemetría de contadores y de red, con todos los segmentos alojados en nodos historicals idénticos y con el mismo factor de replicación, independientemente de su antigüedad. El coste de la infraestructura crecía de forma lineal con la retención, mientras que el volumen de consultas sobre los datos antiguos era insignificante. AceMQ evaluó las opciones de almacenamiento por niveles.

Reto

El almacenamiento por niveles solo funciona si se conoce la distribución real de los accesos, y las suposiciones al respecto suelen ser erróneas: las consultas regulatorias sobre datos antiguos son poco frecuentes, pero aun así deben resolverse dentro de un plazo definido. La evaluación tenía que establecer los patrones de acceso reales según la antigüedad de los datos y, después, determinar qué configuraciones por niveles mantenían el comportamiento de consulta necesario con un coste menor.

Entorno

Apache Druid sobre hardware on-premises y almacenamiento de objetos en la nube, con varios años de telemetría de red y de contadores.

Enfoque

AceMQ analizó los logs de consultas para construir una distribución de accesos por antigüedad de los segmentos, en lugar de basarse en las expectativas declaradas, y modeló las configuraciones por niveles tanto en coste como en el comportamiento de consulta que produciría cada una, incluidos los tiempos de respuesta del nivel frío para los accesos regulatorios.

Solución

  1. Construcción de una distribución de accesos por antigüedad de los segmentos a partir de los logs de consultas reales y no de suposiciones
  2. Modelado de niveles de historicals caliente, templado y frío con load rules ajustadas al patrón de acceso medido
  3. Evaluación de factores de replicación reducidos en los niveles fríos frente a los requisitos de disponibilidad y recuperación
  4. Evaluación de la consulta directa desde el deep storage como opción para los datos más fríos, midiendo sus características de respuesta
  5. Revisión de las reglas de retención y de eliminación frente a las obligaciones regulatorias de conservación
  6. Entrega de un modelo de coste y rendimiento para cada opción de niveles, con las contrapartidas expuestas de forma explícita

Resultado final

La compañía obtuvo un plan de almacenamiento por niveles basado en accesos medidos y no en suposiciones, con una vía clara para reducir la huella de nodos historicals manteniendo las consultas regulatorias dentro del plazo de respuesta exigido. Las contrapartidas se expusieron desde el principio en lugar de descubrirse tras la implantación.

Tecnologías

Apache DruidS3KubernetesPrometheus

¿Preparado para un health check de Apache Druid?

Los ingenieros sénior de Apache Druid de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.