Voltar a todos os casos de utilização

ConsultoriaSaúde / Benefícios

Uma retenção que satisfaz os auditores sem pagar preços de hot tier por dados frios

Fornecedor de análise de dados de saúde

Projeto de consultoria para desenhar a gestão do ciclo de vida dos índices, os tiers de dados e a política de snapshots de um parque Elasticsearch regulado.

Visão geral

Um fornecedor de análise de dados de saúde precisava de uma retenção de vários anos por motivos de auditoria, mas mantinha tudo em nós hot dispendiosos. A AceMQ desenhou uma estratégia de ILM e de tiers que cumpre o requisito de retenção e transfere a maior parte dos dados para armazenamento mais barato.

Desafio

As regras de retenção eram aplicadas por scripts de limpeza escritos à mão que, ocasionalmente, eliminavam o padrão de índices errado. Não havia tier warm nem cold, os snapshots eram feitos de forma irregular e ninguém tinha testado um restauro. A equipa de conformidade não conseguia dizer durante quanto tempo uma determinada classe de registos era efetivamente retida, porque a resposta dependia de qual tinha sido o último script a correr com sucesso.

Ambiente

Implementação híbrida de Elasticsearch, com nós hot on-premises e object storage na cloud disponível para snapshots e dados pesquisáveis.

Abordagem

Começámos por associar cada padrão de índices à sua obrigação regulamentar de retenção real, já que vários padrões estavam a ser mantidos muito mais tempo do que o exigido. A partir daí, desenhámos políticas de ILM baseadas em rollover, com fases hot, warm e cold explícitas, acrescentámos uma política de ciclo de vida de snapshots para object storage e ensaiámos os procedimentos de restauro até os tempos serem conhecidos, e não presumidos.

Solução

  1. Requisitos de retenção mapeados por padrão de índices e confrontados com o que os scripts de limpeza faziam realmente
  2. Políticas de ILM assentes em aliases de rollover com condições de tamanho e idade, substituindo por completo os scripts de eliminação artesanais
  3. Definição das fases hot, warm e cold, incluindo force-merge, redução de réplicas e filtragem da alocação de shards por atributo de nó
  4. Gestão do ciclo de vida de snapshots para object storage, com regras de retenção alinhadas com a obrigação de conformidade
  5. Exercícios de restauro executados e cronometrados, para que o objetivo de recuperação seja um valor medido e não uma estimativa
  6. Definições das políticas guardadas como código de infraestrutura, para que as alterações passem por revisão

Resultado final

A maioria dos dados indexados reside agora nos tiers warm e cold, libertando uma capacidade considerável dos nós hot para as cargas de consulta. A retenção é aplicada por política em vez de scripts, e a equipa de conformidade consegue responder às questões de retenção diretamente a partir das definições das políticas.

Tecnologias

ElasticsearchKibanaAmazon S3Terraform

Precisa de orientação de arquitetura Elasticsearch?

Os engenheiros seniores de Elasticsearch da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.