Descripción general
Un proveedor de analítica sanitaria necesitaba una retención de varios años por motivos de auditoría, pero lo guardaba todo en costosos nodos calientes. AceMQ diseñó una estrategia de ILM y de niveles de almacenamiento que cumple el requisito de retención y traslada el grueso de los datos a un almacenamiento más barato.
Reto
Las reglas de retención se aplicaban con scripts de limpieza escritos a mano que de vez en cuando borraban el patrón de índices equivocado. No había nivel templado ni frío, los snapshots se hacían de forma irregular y nadie había probado una restauración. El equipo de cumplimiento no sabía responder cuánto tiempo se conservaba realmente una determinada clase de registros, porque la respuesta dependía de qué script se hubiera ejecutado con éxito por última vez.
Entorno
Despliegue híbrido de Elasticsearch con nodos calientes on-premise y almacenamiento de objetos en la nube disponible para snapshots y datos con búsqueda.
Enfoque
Empezamos asignando a cada patrón de índices su obligación real de retención normativa, ya que varios patrones se conservaban mucho más tiempo del exigido. A partir de ahí diseñamos políticas de ILM basadas en rollover con fases hot, warm y cold explícitas, añadimos una política de ciclo de vida de snapshots sobre almacenamiento de objetos y ensayamos los procedimientos de restauración hasta que los tiempos fueran conocidos y no supuestos.
Solución
- Requisitos de retención asignados por patrón de índices y contrastados con lo que hacían realmente los scripts de limpieza
- Políticas de ILM construidas sobre alias de rollover con condiciones de tamaño y antigüedad, que sustituyen por completo a los scripts de borrado artesanales
- Definición de las fases hot, warm y cold, con force-merge, reducción de réplicas y filtrado de la asignación de shards por atributo de nodo
- Gestión del ciclo de vida de snapshots hacia almacenamiento de objetos, con reglas de retención acordes con la obligación normativa
- Simulacros de restauración ejecutados y cronometrados para que el objetivo de recuperación sea una cifra medida y no una estimación
- Definiciones de políticas versionadas como infraestructura como código, de modo que los cambios pasan por revisión
Resultado final
La mayor parte de los datos indexados reside ahora en los niveles templado y frío, lo que libera una capacidad considerable de los nodos calientes para las consultas. La retención se aplica mediante políticas en lugar de scripts, y el equipo de cumplimiento puede responder a las preguntas sobre retención directamente a partir de las definiciones de las políticas.