Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

Devolver a verde un clúster de Elasticsearch atascado sin perder datos

Procesador de pagos global

Remediación de emergencia de un clúster de Elasticsearch que no volvía a verde tras el fallo de un nodo de datos, con las réplicas bloqueadas por los umbrales de disco (watermarks).

Descripción general

Una plataforma de pagos perdió un nodo de datos por una avería de hardware y el clúster nunca volvió a verde. Los shards réplica siguieron sin asignar durante días mientras el tráfico de búsqueda funcionaba sobre copias únicas, lo que dejaba el índice a un solo fallo de una pérdida de datos real.

Reto

Los nodos supervivientes habían superado el watermark de disco flood-stage, así que Elasticsearch había aplicado un bloqueo de índice read-only-allow-delete y se negaba a asignar las réplicas que faltaban. La salida de allocation explain señalaba el watermark, pero el equipo no podía liberar espacio porque el bloqueo también impedía la limpieza con delete-by-query que había previsto. Mientras tanto, el translog de los índices hot seguía creciendo.

Entorno

Clúster de Elasticsearch de unos 20 nodos de datos en bare metal, con niveles hot-warm y varios TB de datos indexados de transacciones y auditoría.

Enfoque

Los ingenieros de AceMQ partieron de la API de allocation explain en lugar de hacer conjeturas y después fueron reduciendo la presión sobre el disco en un orden que permitiera levantar el bloqueo con seguridad. Movimos los índices más antiguos al nivel warm, aplicamos force merge a los segmentos de solo lectura para recuperar el espacio de los documentos borrados, después levantamos el bloqueo de índice y dejamos que la asignación se reanudara con una velocidad de recuperación limitada, para que el clúster no saturara su propia red durante la reconstrucción.

Solución

  1. Lectura de la salida de cluster allocation explain de cada shard sin asignar para confirmar que el bloqueo se debía al watermark y no a una corrupción
  2. Reubicación de los índices antiguos en nodos del nivel warm y force merge de los índices de solo lectura para recuperar el espacio de los documentos borrados
  3. Retirada del bloqueo read-only-allow-delete solo después de recuperar margen, para no volver a superar el flood stage
  4. Limitación de indices.recovery.max_bytes_per_sec durante la reconstrucción para que la recuperación de réplicas no dejara sin recursos al tráfico de consultas en vivo
  5. Configuración explícita de los watermarks low/high/flood con un margen realista y alertas de disco antes del watermark high
  6. Documentación del runbook de recuperación para que la guardia del cliente pueda resolver la misma situación sin escalar

Resultado final

El clúster volvió a verde con todas las réplicas asignadas y sin perder ningún índice. Como las alertas de watermark saltan ahora mucho antes del flood stage, el cliente no ha vuelto a toparse con el bloqueo de solo lectura, y sustituir un nodo es ahora una tarea de mantenimiento rutinaria en lugar de un incidente.

Tecnologías

ElasticsearchKibanaLinuxKubernetes

¿Se enfrenta a un problema de Elasticsearch en producción?

Los ingenieros sénior de Elasticsearch de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.