Descripción general
Una plataforma de pagos perdió un nodo de datos por una avería de hardware y el clúster nunca volvió a verde. Los shards réplica siguieron sin asignar durante días mientras el tráfico de búsqueda funcionaba sobre copias únicas, lo que dejaba el índice a un solo fallo de una pérdida de datos real.
Reto
Los nodos supervivientes habían superado el watermark de disco flood-stage, así que Elasticsearch había aplicado un bloqueo de índice read-only-allow-delete y se negaba a asignar las réplicas que faltaban. La salida de allocation explain señalaba el watermark, pero el equipo no podía liberar espacio porque el bloqueo también impedía la limpieza con delete-by-query que había previsto. Mientras tanto, el translog de los índices hot seguía creciendo.
Entorno
Clúster de Elasticsearch de unos 20 nodos de datos en bare metal, con niveles hot-warm y varios TB de datos indexados de transacciones y auditoría.
Enfoque
Los ingenieros de AceMQ partieron de la API de allocation explain en lugar de hacer conjeturas y después fueron reduciendo la presión sobre el disco en un orden que permitiera levantar el bloqueo con seguridad. Movimos los índices más antiguos al nivel warm, aplicamos force merge a los segmentos de solo lectura para recuperar el espacio de los documentos borrados, después levantamos el bloqueo de índice y dejamos que la asignación se reanudara con una velocidad de recuperación limitada, para que el clúster no saturara su propia red durante la reconstrucción.
Solución
- Lectura de la salida de cluster allocation explain de cada shard sin asignar para confirmar que el bloqueo se debía al watermark y no a una corrupción
- Reubicación de los índices antiguos en nodos del nivel warm y force merge de los índices de solo lectura para recuperar el espacio de los documentos borrados
- Retirada del bloqueo read-only-allow-delete solo después de recuperar margen, para no volver a superar el flood stage
- Limitación de indices.recovery.max_bytes_per_sec durante la reconstrucción para que la recuperación de réplicas no dejara sin recursos al tráfico de consultas en vivo
- Configuración explícita de los watermarks low/high/flood con un margen realista y alertas de disco antes del watermark high
- Documentación del runbook de recuperación para que la guardia del cliente pueda resolver la misma situación sin escalar
Resultado final
El clúster volvió a verde con todas las réplicas asignadas y sin perder ningún índice. Como las alertas de watermark saltan ahora mucho antes del flood stage, el cliente no ha vuelto a toparse con el bloqueo de solo lectura, y sustituir un nodo es ahora una tarea de mantenimiento rutinaria en lugar de un incidente.