Volver a todos los casos de uso

EvaluaciónEnergía / Servicios públicos

Cada nivel de almacenamiento, alineado con la frecuencia real de lectura de los datos

Empresa de servicios de energía

Evaluación de los niveles de historicals, las reglas de retención y los factores de replicación para alinear el costo de infraestructura con la forma en que realmente se consultan los datos a lo largo del tiempo.

Descripción general

Una empresa de servicios de energía conservaba siete años de telemetría de medidores y de la red eléctrica en Druid, con todos los segmentos alojados en nodos historical idénticos y con el mismo factor de replicación, sin importar su antigüedad. El costo de infraestructura crecía de forma lineal con la retención, mientras que el volumen de consultas sobre los datos más antiguos era insignificante. AceMQ evaluó las opciones de almacenamiento por niveles.

Desafío

El almacenamiento por niveles solo funciona si se conoce la distribución real de accesos, y los supuestos al respecto suelen ser incorrectos: las consultas regulatorias sobre datos antiguos son poco frecuentes, pero aun así deben completarse dentro de un tiempo definido. La evaluación tenía que establecer los patrones de acceso reales según la antigüedad de los datos y luego determinar qué configuraciones de niveles conservaban el comportamiento de consulta requerido a un costo menor.

Entorno

Apache Druid sobre hardware on-premises y almacenamiento de objetos en la nube, con varios años de telemetría de la red y de los medidores.

Enfoque

AceMQ analizó los logs de consultas para construir una distribución de accesos según la antigüedad de los segmentos, en lugar de basarse en las expectativas declaradas, y luego modeló configuraciones de niveles en función tanto del costo como del comportamiento de consulta que produciría cada una, incluidos los tiempos de respuesta del nivel frío para los accesos regulatorios.

Solución

  1. Construcción de una distribución de accesos según la antigüedad de los segmentos a partir de los logs de consultas reales, no de supuestos declarados
  2. Modelado de niveles hot, warm y cold de historicals con load rules alineadas al patrón de acceso medido
  3. Evaluación de factores de replicación reducidos en los niveles fríos frente a los requisitos de disponibilidad y recuperación
  4. Evaluación de la consulta directa desde deep storage como opción para los datos más fríos y medición de sus características de respuesta
  5. Revisión de las reglas de retención y eliminación frente a las obligaciones regulatorias de retención
  6. Entrega de un modelo de costo y rendimiento para cada opción de niveles, con las ventajas y desventajas expresadas de forma explícita

Resultado final

La empresa obtuvo un plan de almacenamiento por niveles basado en accesos medidos y no en supuestos, con un camino claro para reducir la cantidad de nodos historical sin que las consultas regulatorias salieran de su ventana de respuesta requerida. Las ventajas y desventajas se plantearon desde el principio, en lugar de descubrirse después de la implementación.

Tecnologías

Apache DruidS3KubernetesPrometheus

¿Listo para un health check de Apache Druid?

Los ingenieros sénior de Apache Druid de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.