Visão geral
Um fornecedor de análise de dados de saúde precisava de uma retenção de vários anos por motivos de auditoria, mas mantinha tudo em nós hot dispendiosos. A AceMQ desenhou uma estratégia de ILM e de tiers que cumpre o requisito de retenção e transfere a maior parte dos dados para armazenamento mais barato.
Desafio
As regras de retenção eram aplicadas por scripts de limpeza escritos à mão que, ocasionalmente, eliminavam o padrão de índices errado. Não havia tier warm nem cold, os snapshots eram feitos de forma irregular e ninguém tinha testado um restauro. A equipa de conformidade não conseguia dizer durante quanto tempo uma determinada classe de registos era efetivamente retida, porque a resposta dependia de qual tinha sido o último script a correr com sucesso.
Ambiente
Implementação híbrida de Elasticsearch, com nós hot on-premises e object storage na cloud disponível para snapshots e dados pesquisáveis.
Abordagem
Começámos por associar cada padrão de índices à sua obrigação regulamentar de retenção real, já que vários padrões estavam a ser mantidos muito mais tempo do que o exigido. A partir daí, desenhámos políticas de ILM baseadas em rollover, com fases hot, warm e cold explícitas, acrescentámos uma política de ciclo de vida de snapshots para object storage e ensaiámos os procedimentos de restauro até os tempos serem conhecidos, e não presumidos.
Solução
- Requisitos de retenção mapeados por padrão de índices e confrontados com o que os scripts de limpeza faziam realmente
- Políticas de ILM assentes em aliases de rollover com condições de tamanho e idade, substituindo por completo os scripts de eliminação artesanais
- Definição das fases hot, warm e cold, incluindo force-merge, redução de réplicas e filtragem da alocação de shards por atributo de nó
- Gestão do ciclo de vida de snapshots para object storage, com regras de retenção alinhadas com a obrigação de conformidade
- Exercícios de restauro executados e cronometrados, para que o objetivo de recuperação seja um valor medido e não uma estimativa
- Definições das políticas guardadas como código de infraestrutura, para que as alterações passem por revisão
Resultado final
A maioria dos dados indexados reside agora nos tiers warm e cold, libertando uma capacidade considerável dos nós hot para as cargas de consulta. A retenção é aplicada por política em vez de scripts, e a equipa de conformidade consegue responder às questões de retenção diretamente a partir das definições das políticas.