Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

Devolver a verde un clúster de Elasticsearch estancado sin perder datos

Procesador global de pagos

Corrección de emergencia de un clúster de Elasticsearch que no volvía a verde tras la falla de un nodo de datos, con réplicas bloqueadas por los disk watermarks.

Descripción general

Una plataforma de pagos perdió un nodo de datos durante una falla de hardware y el clúster nunca se recuperó a verde. Los shards réplica quedaron sin asignar durante días mientras el tráfico de búsqueda corría sobre copias únicas, lo que dejaba al índice a una falla de una pérdida de datos real.

Desafío

Los nodos sobrevivientes habían superado el disk watermark de flood stage, así que Elasticsearch había aplicado un bloqueo de índice read-only-allow-delete y se negaba a asignar las réplicas faltantes. La salida de allocation explain apuntaba al watermark, pero el equipo no podía liberar espacio porque el bloqueo también impedía la limpieza con delete-by-query que tenían planificada. Mientras tanto, el translog de los índices hot seguía creciendo.

Entorno

Clúster de Elasticsearch de unos 20 nodos de datos en bare metal, con niveles hot-warm y varios TB de datos indexados de transacciones y auditoría.

Enfoque

Los ingenieros de AceMQ partieron de la API de allocation explain en lugar de adivinar, y luego redujeron la presión de disco en un orden que permitiera levantar el bloqueo de forma segura. Movimos los índices más antiguos al nivel warm, aplicamos force-merge a los segmentos de solo lectura para recuperar el espacio de los documentos borrados, luego levantamos el bloqueo del índice y dejamos que la asignación se reanudara con una tasa de recuperación limitada, para que el clúster no saturara su propia red durante la reconstrucción.

Solución

  1. Lectura de la salida de cluster allocation explain para cada shard sin asignar, para confirmar que el bloqueo se debía al watermark y no a corrupción
  2. Reubicación de los índices antiguos en nodos del nivel warm y force-merge de los índices de solo lectura para recuperar el espacio de los documentos borrados
  3. Levantamiento del bloqueo read-only-allow-delete solo después de recuperar margen, para evitar volver a superar el flood stage
  4. Limitación de indices.recovery.max_bytes_per_sec durante la reconstrucción, para que la recuperación de réplicas no dejara sin recursos al tráfico de consultas en vivo
  5. Definición explícita de los watermarks low/high/flood con un margen realista y alertas de disco antes de llegar al high watermark
  6. Documentación del runbook de recuperación para que la guardia on-call del cliente pueda resolver la misma condición sin escalar

Resultado final

El clúster volvió a verde con todas las réplicas asignadas y sin perder ningún índice. Como las alertas de watermark ahora se disparan mucho antes del flood stage, el cliente no ha vuelto a toparse con el bloqueo de solo lectura, y reemplazar un nodo es ahora una tarea de mantenimiento de rutina y no un incidente.

Tecnologías

ElasticsearchKibanaLinuxKubernetes

¿Enfrenta un problema de Elasticsearch en producción?

Los ingenieros sénior de Elasticsearch de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.