Visão geral
Um órgão público que criava índices diários havia vários anos tinha acumulado dezenas de milhares de shards pequenos. Adicionar hardware tinha deixado de ajudar, e as eleições de master demoravam tanto que interrompiam a indexação. A AceMQ avaliou o cluster para determinar se o problema era de capacidade ou de design.
Desafio
Cada índice diário recebia o número padrão de shards, quer guardasse poucos megabytes ou centenas de gigabytes. O cluster state resultante era tão grande que publicar uma atualização para todos os nós levava segundos, as tarefas pendentes se acumulavam atrás disso e qualquer failover do master virava uma indisponibilidade de vários minutos. Ninguém conseguia alterar o index template com segurança, porque não estava claro quais buscas downstream dependiam da nomenclatura atual dos índices.
Ambiente
Cluster Elasticsearch on-premises, com índices diários baseados em tempo, retenção de vários anos e cargas mistas de busca em logs e em documentos.
Abordagem
A avaliação faz o inventário do número de shards e da distribuição de tamanhos por padrão de índice, mede o tamanho do cluster state e a latência de publicação, e mapeia quais índices realmente recebem consultas. Separamos os índices que precisam ser remodelados dos que só precisam passar por rollup ou ser apagados, e entregamos um plano sequenciado que o cliente pode executar durante a manutenção normal.
Solução
- Inventário completo de shards por padrão de índice, com a distribuição de tamanhos, mostrando quais padrões geram shards muito abaixo ou muito acima do tamanho útil
- Medição do tamanho do cluster state e da latência de publicação, para quantificar diretamente o overhead do master
- Mapeamento do tráfego de consultas por índice, para que as decisões de retenção sejam tomadas com base em evidências, e não em premissas da política
- Recomendação de tamanho-alvo de shard e de estratégia de rollover usando ILM com condições baseadas em tamanho e em idade
- Plano de correção sequenciado cobrindo as etapas de shrink, reindex e rollup em uma ordem que mantém a busca disponível o tempo todo
- Modelo de capacidade que mostra o que o cluster realmente precisa após a consolidação, evitando uma compra de hardware desnecessária
Resultado obtido
O número de shards caiu drasticamente depois que os índices diários foram consolidados e os dados antigos passaram por rollup, reduzindo o tempo de publicação do cluster state a uma fração do que era. O failover do master deixou de ser um evento relevante, e a expansão de hardware planejada foi adiada.