Voltar para todos os casos de uso

AvaliaçãoGoverno / defesa

Descobrir por que um cluster com hardware de sobra continua lento

Órgão do setor público

Avaliação de um cluster Elasticsearch com excesso de shards, no qual o tamanho do cluster state e as filas de tarefas pendentes estavam causando instabilidade no master.

Visão geral

Um órgão público que criava índices diários havia vários anos tinha acumulado dezenas de milhares de shards pequenos. Adicionar hardware tinha deixado de ajudar, e as eleições de master demoravam tanto que interrompiam a indexação. A AceMQ avaliou o cluster para determinar se o problema era de capacidade ou de design.

Desafio

Cada índice diário recebia o número padrão de shards, quer guardasse poucos megabytes ou centenas de gigabytes. O cluster state resultante era tão grande que publicar uma atualização para todos os nós levava segundos, as tarefas pendentes se acumulavam atrás disso e qualquer failover do master virava uma indisponibilidade de vários minutos. Ninguém conseguia alterar o index template com segurança, porque não estava claro quais buscas downstream dependiam da nomenclatura atual dos índices.

Ambiente

Cluster Elasticsearch on-premises, com índices diários baseados em tempo, retenção de vários anos e cargas mistas de busca em logs e em documentos.

Abordagem

A avaliação faz o inventário do número de shards e da distribuição de tamanhos por padrão de índice, mede o tamanho do cluster state e a latência de publicação, e mapeia quais índices realmente recebem consultas. Separamos os índices que precisam ser remodelados dos que só precisam passar por rollup ou ser apagados, e entregamos um plano sequenciado que o cliente pode executar durante a manutenção normal.

Solução

  1. Inventário completo de shards por padrão de índice, com a distribuição de tamanhos, mostrando quais padrões geram shards muito abaixo ou muito acima do tamanho útil
  2. Medição do tamanho do cluster state e da latência de publicação, para quantificar diretamente o overhead do master
  3. Mapeamento do tráfego de consultas por índice, para que as decisões de retenção sejam tomadas com base em evidências, e não em premissas da política
  4. Recomendação de tamanho-alvo de shard e de estratégia de rollover usando ILM com condições baseadas em tamanho e em idade
  5. Plano de correção sequenciado cobrindo as etapas de shrink, reindex e rollup em uma ordem que mantém a busca disponível o tempo todo
  6. Modelo de capacidade que mostra o que o cluster realmente precisa após a consolidação, evitando uma compra de hardware desnecessária

Resultado obtido

O número de shards caiu drasticamente depois que os índices diários foram consolidados e os dados antigos passaram por rollup, reduzindo o tempo de publicação do cluster state a uma fração do que era. O failover do master deixou de ser um evento relevante, e a expansão de hardware planejada foi adiada.

Tecnologias

ElasticsearchKibanaLinux

Pronto para um health check do Elasticsearch?

Os engenheiros Elasticsearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.