Volver a todos los casos de uso

ConsultoríaSanidad / Beneficios sociales

Una retención que satisface a los auditores sin pagar precios de nivel caliente por datos fríos

Proveedor de analítica sanitaria

Proyecto de consultoría para diseñar la gestión del ciclo de vida de índices, los niveles de datos y la política de snapshots de una plataforma Elasticsearch regulada.

Descripción general

Un proveedor de analítica sanitaria necesitaba una retención de varios años por motivos de auditoría, pero lo guardaba todo en costosos nodos calientes. AceMQ diseñó una estrategia de ILM y de niveles de almacenamiento que cumple el requisito de retención y traslada el grueso de los datos a un almacenamiento más barato.

Reto

Las reglas de retención se aplicaban con scripts de limpieza escritos a mano que de vez en cuando borraban el patrón de índices equivocado. No había nivel templado ni frío, los snapshots se hacían de forma irregular y nadie había probado una restauración. El equipo de cumplimiento no sabía responder cuánto tiempo se conservaba realmente una determinada clase de registros, porque la respuesta dependía de qué script se hubiera ejecutado con éxito por última vez.

Entorno

Despliegue híbrido de Elasticsearch con nodos calientes on-premise y almacenamiento de objetos en la nube disponible para snapshots y datos con búsqueda.

Enfoque

Empezamos asignando a cada patrón de índices su obligación real de retención normativa, ya que varios patrones se conservaban mucho más tiempo del exigido. A partir de ahí diseñamos políticas de ILM basadas en rollover con fases hot, warm y cold explícitas, añadimos una política de ciclo de vida de snapshots sobre almacenamiento de objetos y ensayamos los procedimientos de restauración hasta que los tiempos fueran conocidos y no supuestos.

Solución

  1. Requisitos de retención asignados por patrón de índices y contrastados con lo que hacían realmente los scripts de limpieza
  2. Políticas de ILM construidas sobre alias de rollover con condiciones de tamaño y antigüedad, que sustituyen por completo a los scripts de borrado artesanales
  3. Definición de las fases hot, warm y cold, con force-merge, reducción de réplicas y filtrado de la asignación de shards por atributo de nodo
  4. Gestión del ciclo de vida de snapshots hacia almacenamiento de objetos, con reglas de retención acordes con la obligación normativa
  5. Simulacros de restauración ejecutados y cronometrados para que el objetivo de recuperación sea una cifra medida y no una estimación
  6. Definiciones de políticas versionadas como infraestructura como código, de modo que los cambios pasan por revisión

Resultado final

La mayor parte de los datos indexados reside ahora en los niveles templado y frío, lo que libera una capacidad considerable de los nodos calientes para las consultas. La retención se aplica mediante políticas en lugar de scripts, y el equipo de cumplimiento puede responder a las preguntas sobre retención directamente a partir de las definiciones de las políticas.

Tecnologías

ElasticsearchKibanaAmazon S3Terraform

¿Necesita asesoramiento de arquitectura para Elasticsearch?

Los ingenieros sénior de Elasticsearch de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.