Visão geral
Uma plataforma de pagamentos perdeu um nó de dados em uma falha de hardware, e o cluster nunca voltou para green. Os shards de réplica ficaram sem alocação por dias enquanto o tráfego de busca rodava sobre cópias únicas, deixando o índice a uma falha de distância de uma perda real de dados.
Desafio
Os nós sobreviventes tinham ultrapassado o watermark de disco flood-stage, então o Elasticsearch tinha aplicado o bloqueio de índice read-only-allow-delete e se recusava a alocar as réplicas que faltavam. A saída do allocation explain apontava para o watermark, mas a equipe não conseguia liberar espaço, porque o bloqueio também impedia a limpeza por delete-by-query que eles tinham planejado. Enquanto isso, o translog dos índices hot continuava crescendo.
Ambiente
Cluster Elasticsearch com cerca de 20 nós de dados em bare metal, arquitetura hot-warm e vários TB de dados indexados de transações e auditoria.
Abordagem
Os engenheiros da AceMQ partiram da API de allocation explain, em vez de tentar adivinhar, e depois reduziram a pressão de disco em uma ordem que permitisse liberar o bloqueio com segurança. Movemos os índices mais antigos para a camada warm, aplicamos force-merge nos segmentos somente leitura para recuperar o espaço de documentos apagados, depois removemos o bloqueio do índice e deixamos a alocação retomar com uma taxa de recuperação limitada, para que o cluster não saturasse a própria rede durante a reconstrução.
Solução
- Leitura da saída de allocation explain do cluster para cada shard sem alocação, confirmando que o bloqueio vinha do watermark, e não de corrupção
- Realocação dos índices antigos para nós da camada warm e force-merge dos índices somente leitura para recuperar o espaço de documentos apagados
- Remoção do bloqueio read-only-allow-delete só depois de restabelecida a folga, evitando ultrapassar o flood stage de novo
- Limitação do indices.recovery.max_bytes_per_sec durante a reconstrução, para que a recuperação das réplicas não sufocasse o tráfego de consultas em produção
- Definição explícita dos watermarks low/high/flood com folga realista e inclusão de alertas de disco antes do watermark high
- Documentação do runbook de recuperação, para que o plantão do cliente consiga resolver a mesma condição sem escalonar
Resultado obtido
O cluster voltou para green com todas as réplicas alocadas e sem perda de índices. Como os alertas de watermark agora disparam bem antes do flood stage, o cliente não voltou a esbarrar no bloqueio somente leitura, e a substituição de nós virou um evento de manutenção de rotina, e não um incidente.