Descripción general
Una plataforma de pagos perdió un nodo de datos durante una falla de hardware y el clúster nunca se recuperó a verde. Los shards réplica quedaron sin asignar durante días mientras el tráfico de búsqueda corría sobre copias únicas, lo que dejaba al índice a una falla de una pérdida de datos real.
Desafío
Los nodos sobrevivientes habían superado el disk watermark de flood stage, así que Elasticsearch había aplicado un bloqueo de índice read-only-allow-delete y se negaba a asignar las réplicas faltantes. La salida de allocation explain apuntaba al watermark, pero el equipo no podía liberar espacio porque el bloqueo también impedía la limpieza con delete-by-query que tenían planificada. Mientras tanto, el translog de los índices hot seguía creciendo.
Entorno
Clúster de Elasticsearch de unos 20 nodos de datos en bare metal, con niveles hot-warm y varios TB de datos indexados de transacciones y auditoría.
Enfoque
Los ingenieros de AceMQ partieron de la API de allocation explain en lugar de adivinar, y luego redujeron la presión de disco en un orden que permitiera levantar el bloqueo de forma segura. Movimos los índices más antiguos al nivel warm, aplicamos force-merge a los segmentos de solo lectura para recuperar el espacio de los documentos borrados, luego levantamos el bloqueo del índice y dejamos que la asignación se reanudara con una tasa de recuperación limitada, para que el clúster no saturara su propia red durante la reconstrucción.
Solución
- Lectura de la salida de cluster allocation explain para cada shard sin asignar, para confirmar que el bloqueo se debía al watermark y no a corrupción
- Reubicación de los índices antiguos en nodos del nivel warm y force-merge de los índices de solo lectura para recuperar el espacio de los documentos borrados
- Levantamiento del bloqueo read-only-allow-delete solo después de recuperar margen, para evitar volver a superar el flood stage
- Limitación de indices.recovery.max_bytes_per_sec durante la reconstrucción, para que la recuperación de réplicas no dejara sin recursos al tráfico de consultas en vivo
- Definición explícita de los watermarks low/high/flood con un margen realista y alertas de disco antes de llegar al high watermark
- Documentación del runbook de recuperación para que la guardia on-call del cliente pueda resolver la misma condición sin escalar
Resultado final
El clúster volvió a verde con todas las réplicas asignadas y sin perder ningún índice. Como las alertas de watermark ahora se disparan mucho antes del flood stage, el cliente no ha vuelto a toparse con el bloqueo de solo lectura, y reemplazar un nodo es ahora una tarea de mantenimiento de rutina y no un incidente.