Voltar para todos os casos de uso

ConsultoriaSaúde / benefícios

Retenção que satisfaz os auditores sem pagar preço de hot tier por dados frios

Empresa de análise de dados de saúde

Projeto de consultoria para desenhar o gerenciamento do ciclo de vida dos índices, o tiering de dados e a política de snapshots de um ambiente Elasticsearch regulado.

Visão geral

Uma empresa de análise de dados de saúde precisava de retenção por vários anos por motivos de auditoria, mas mantinha tudo em hot nodes caros. A AceMQ desenhou uma estratégia de ILM e de tiering que atende ao requisito de retenção e leva a maior parte dos dados para um armazenamento mais barato.

Desafio

As regras de retenção eram aplicadas por scripts de limpeza escritos à mão, que de vez em quando apagavam o padrão de índice errado. Não havia warm tier nem cold tier, os snapshots eram feitos de forma inconsistente e ninguém nunca tinha testado uma restauração. A equipe de compliance não conseguia dizer por quanto tempo uma determinada classe de registros era de fato retida, porque a resposta dependia de qual script tinha rodado com sucesso por último.

Ambiente

Implantação híbrida de Elasticsearch, com hot nodes on-premise e armazenamento de objetos em nuvem disponível para snapshots e dados pesquisáveis.

Abordagem

Começamos mapeando cada padrão de índice para a sua obrigação regulatória de retenção real, já que vários padrões estavam sendo mantidos por muito mais tempo que o exigido. A partir daí, desenhamos políticas de ILM baseadas em rollover, com fases hot, warm e cold explícitas, adicionamos uma política de ciclo de vida de snapshots para o armazenamento de objetos e ensaiamos os procedimentos de restauração até que os tempos fossem conhecidos, e não supostos.

Solução

  1. Requisitos de retenção mapeados por padrão de índice e conciliados com o que os scripts de limpeza realmente faziam
  2. Políticas de ILM baseadas em aliases de rollover com condições de tamanho e idade, substituindo por completo os scripts de exclusão feitos à mão
  3. Definição das fases hot, warm e cold, incluindo force merge, redução de réplicas e filtragem da alocação de shards por atributo de nó
  4. Snapshot lifecycle management para o armazenamento de objetos, com regras de retenção que correspondem à obrigação de compliance
  5. Testes de restauração executados e cronometrados, para que o objetivo de recuperação seja um número medido, e não uma estimativa
  6. Definições de políticas versionadas como infraestrutura como código, para que as mudanças passem por revisão

Resultado obtido

A maior parte dos dados indexados agora fica nos tiers warm e cold, liberando uma capacidade considerável dos hot nodes para as cargas de consulta. A retenção é aplicada por política, e não por scripts, e a equipe de compliance consegue responder perguntas sobre retenção diretamente a partir das definições das políticas.

Tecnologias

ElasticsearchKibanaAmazon S3Terraform

Precisa de orientação de arquitetura para Elasticsearch?

Os engenheiros Elasticsearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.