Voltar para todos os casos de uso

CorreçãoServiços financeiros / pagamentos

Levar um cluster Elasticsearch travado de volta para green sem perda de dados

Processadora global de pagamentos

Correção emergencial de um cluster Elasticsearch que não voltava para green após a falha de um nó de dados, com as réplicas bloqueadas pelos watermarks de disco.

Visão geral

Uma plataforma de pagamentos perdeu um nó de dados em uma falha de hardware, e o cluster nunca voltou para green. Os shards de réplica ficaram sem alocação por dias enquanto o tráfego de busca rodava sobre cópias únicas, deixando o índice a uma falha de distância de uma perda real de dados.

Desafio

Os nós sobreviventes tinham ultrapassado o watermark de disco flood-stage, então o Elasticsearch tinha aplicado o bloqueio de índice read-only-allow-delete e se recusava a alocar as réplicas que faltavam. A saída do allocation explain apontava para o watermark, mas a equipe não conseguia liberar espaço, porque o bloqueio também impedia a limpeza por delete-by-query que eles tinham planejado. Enquanto isso, o translog dos índices hot continuava crescendo.

Ambiente

Cluster Elasticsearch com cerca de 20 nós de dados em bare metal, arquitetura hot-warm e vários TB de dados indexados de transações e auditoria.

Abordagem

Os engenheiros da AceMQ partiram da API de allocation explain, em vez de tentar adivinhar, e depois reduziram a pressão de disco em uma ordem que permitisse liberar o bloqueio com segurança. Movemos os índices mais antigos para a camada warm, aplicamos force-merge nos segmentos somente leitura para recuperar o espaço de documentos apagados, depois removemos o bloqueio do índice e deixamos a alocação retomar com uma taxa de recuperação limitada, para que o cluster não saturasse a própria rede durante a reconstrução.

Solução

  1. Leitura da saída de allocation explain do cluster para cada shard sem alocação, confirmando que o bloqueio vinha do watermark, e não de corrupção
  2. Realocação dos índices antigos para nós da camada warm e force-merge dos índices somente leitura para recuperar o espaço de documentos apagados
  3. Remoção do bloqueio read-only-allow-delete só depois de restabelecida a folga, evitando ultrapassar o flood stage de novo
  4. Limitação do indices.recovery.max_bytes_per_sec durante a reconstrução, para que a recuperação das réplicas não sufocasse o tráfego de consultas em produção
  5. Definição explícita dos watermarks low/high/flood com folga realista e inclusão de alertas de disco antes do watermark high
  6. Documentação do runbook de recuperação, para que o plantão do cliente consiga resolver a mesma condição sem escalonar

Resultado obtido

O cluster voltou para green com todas as réplicas alocadas e sem perda de índices. Como os alertas de watermark agora disparam bem antes do flood stage, o cliente não voltou a esbarrar no bloqueio somente leitura, e a substituição de nós virou um evento de manutenção de rotina, e não um incidente.

Tecnologias

ElasticsearchKibanaLinuxKubernetes

Enfrentando um problema de produção com Elasticsearch?

Os engenheiros Elasticsearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.