Volver a todos los casos de uso

ConsultoríaSalud / Beneficios

Una retención que satisface a los auditores sin pagar precios de hot tier por datos fríos

Proveedor de analítica de salud

Proyecto de consultoría para diseñar la gestión del ciclo de vida de los índices, el tiering de datos y la política de snapshots de un entorno regulado de Elasticsearch.

Descripción general

Un proveedor de analítica de salud necesitaba una retención de varios años por motivos de auditoría, pero mantenía todo en costosos nodos hot. AceMQ diseñó una estrategia de ILM y tiering que cumple el requisito de retención y, al mismo tiempo, traslada el grueso de los datos a un almacenamiento más económico.

Desafío

Las reglas de retención se aplicaban mediante scripts de limpieza escritos a mano que, de vez en cuando, borraban el patrón de índices equivocado. No existía un tier warm ni un tier cold, los snapshots se tomaban de forma irregular y nadie había probado una restauración. El equipo de cumplimiento no podía decir cuánto tiempo se conservaba realmente cada clase de registro, porque la respuesta dependía de qué script se había ejecutado con éxito por última vez.

Entorno

Despliegue híbrido de Elasticsearch con nodos hot on-premises y almacenamiento de objetos en la nube disponible para snapshots y datos consultables.

Enfoque

Empezamos por asociar cada patrón de índices con su obligación real de retención regulatoria, ya que varios patrones se conservaban mucho más tiempo del necesario. A partir de ahí diseñamos políticas de ILM basadas en rollover con fases hot, warm y cold explícitas, agregamos una política de ciclo de vida de snapshots hacia almacenamiento de objetos y ensayamos los procedimientos de restauración hasta que los tiempos fueron un dato conocido y no una suposición.

Solución

  1. Requisitos de retención relevados por patrón de índices y contrastados con lo que los scripts de limpieza hacían realmente
  2. Políticas de ILM sobre alias de rollover con condiciones de tamaño y antigüedad, que reemplazan por completo los scripts de borrado hechos a mano
  3. Definición de las fases hot, warm y cold, con force-merge, reducción de réplicas y filtrado de asignación de shards por atributo de nodo
  4. Gestión del ciclo de vida de snapshots hacia almacenamiento de objetos, con reglas de retención acordes a la obligación de cumplimiento
  5. Simulacros de restauración ejecutados y cronometrados, para que el objetivo de recuperación sea un número medido y no una estimación
  6. Definiciones de políticas versionadas como infraestructura como código, para que todo cambio pase por revisión

Resultado final

La mayor parte de los datos indexados vive ahora en los tiers warm y cold, lo que libera una capacidad considerable de los nodos hot para las cargas de consulta. La retención se aplica mediante políticas en lugar de scripts, y el equipo de cumplimiento puede responder las preguntas sobre retención directamente a partir de las definiciones de las políticas.

Tecnologías

ElasticsearchKibanaAmazon S3Terraform

¿Necesita orientación de arquitectura para Elasticsearch?

Los ingenieros sénior de Elasticsearch de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.