Visão geral
Uma empresa de análise de dados de saúde precisava de retenção por vários anos por motivos de auditoria, mas mantinha tudo em hot nodes caros. A AceMQ desenhou uma estratégia de ILM e de tiering que atende ao requisito de retenção e leva a maior parte dos dados para um armazenamento mais barato.
Desafio
As regras de retenção eram aplicadas por scripts de limpeza escritos à mão, que de vez em quando apagavam o padrão de índice errado. Não havia warm tier nem cold tier, os snapshots eram feitos de forma inconsistente e ninguém nunca tinha testado uma restauração. A equipe de compliance não conseguia dizer por quanto tempo uma determinada classe de registros era de fato retida, porque a resposta dependia de qual script tinha rodado com sucesso por último.
Ambiente
Implantação híbrida de Elasticsearch, com hot nodes on-premise e armazenamento de objetos em nuvem disponível para snapshots e dados pesquisáveis.
Abordagem
Começamos mapeando cada padrão de índice para a sua obrigação regulatória de retenção real, já que vários padrões estavam sendo mantidos por muito mais tempo que o exigido. A partir daí, desenhamos políticas de ILM baseadas em rollover, com fases hot, warm e cold explícitas, adicionamos uma política de ciclo de vida de snapshots para o armazenamento de objetos e ensaiamos os procedimentos de restauração até que os tempos fossem conhecidos, e não supostos.
Solução
- Requisitos de retenção mapeados por padrão de índice e conciliados com o que os scripts de limpeza realmente faziam
- Políticas de ILM baseadas em aliases de rollover com condições de tamanho e idade, substituindo por completo os scripts de exclusão feitos à mão
- Definição das fases hot, warm e cold, incluindo force merge, redução de réplicas e filtragem da alocação de shards por atributo de nó
- Snapshot lifecycle management para o armazenamento de objetos, com regras de retenção que correspondem à obrigação de compliance
- Testes de restauração executados e cronometrados, para que o objetivo de recuperação seja um número medido, e não uma estimativa
- Definições de políticas versionadas como infraestrutura como código, para que as mudanças passem por revisão
Resultado obtido
A maior parte dos dados indexados agora fica nos tiers warm e cold, liberando uma capacidade considerável dos hot nodes para as cargas de consulta. A retenção é aplicada por política, e não por scripts, e a equipe de compliance consegue responder perguntas sobre retenção diretamente a partir das definições das políticas.