Torna a tutti i casi d'uso

RemediationServizi finanziari / Pagamenti

Riportare a green un cluster Elasticsearch bloccato senza perdita di dati

Processore globale di pagamenti

Remediation d'emergenza di un cluster Elasticsearch che non tornava green dopo il guasto di un data node, con le repliche bloccate dai disk watermark.

Panoramica

Una piattaforma di pagamenti aveva perso un data node per un guasto hardware e il cluster non era più tornato green. Gli shard di replica sono rimasti non assegnati per giorni mentre il traffico di ricerca girava su copie singole, lasciando l'indice a un solo guasto di distanza da una vera perdita di dati.

Sfida

I nodi superstiti avevano superato il disk watermark di flood stage, per cui Elasticsearch aveva applicato un blocco read-only-allow-delete sugli indici e si rifiutava di allocare le repliche mancanti. L'output di allocation explain indicava il watermark, ma il team non riusciva a liberare spazio perché il blocco impediva anche la pulizia con delete-by-query che aveva pianificato. Nel frattempo il translog sugli indici hot continuava a crescere.

Ambiente

Cluster Elasticsearch di circa 20 data node su bare metal, con tiering hot-warm e diversi TB di dati transazionali e di audit indicizzati.

Approccio

Gli ingegneri AceMQ sono partiti dall'API allocation explain invece di andare per tentativi, e hanno poi ridotto la pressione sui dischi in un ordine che permettesse di rimuovere il blocco in sicurezza. Abbiamo spostato gli indici più vecchi sul tier warm, eseguito il force merge dei segmenti read-only per recuperare lo spazio dei documenti cancellati, quindi rimosso il blocco sugli indici e lasciato riprendere l'allocazione con un recovery rate limitato, così che il cluster non saturasse la propria rete durante la ricostruzione.

Soluzione

  1. Lettura dell'output di cluster allocation explain per ogni shard non assegnato, per confermare che il blocco dipendesse dal watermark e non da una corruzione
  2. Indici datati spostati sui nodi del tier warm e force merge degli indici read-only per recuperare lo spazio dei documenti cancellati
  3. Blocco read-only-allow-delete rimosso solo dopo aver ripristinato il margine, evitando di superare di nuovo il flood stage
  4. indices.recovery.max_bytes_per_sec limitato durante la ricostruzione, così che il recovery delle repliche non sottraesse risorse al traffico di query in produzione
  5. Watermark low/high/flood impostati in modo esplicito con margini realistici, e alert sui dischi aggiunti prima del watermark high
  6. Runbook di ripristino documentato, così che il team di reperibilità del cliente possa risolvere la stessa condizione senza escalation

Esito

Il cluster è tornato green con tutte le repliche allocate e senza perdita di indici. Poiché gli alert sui watermark ora scattano ben prima del flood stage, il cliente non ha più incontrato il blocco read-only, e la sostituzione di un nodo è diventata un normale intervento di manutenzione anziché un incidente.

Tecnologie

ElasticsearchKibanaLinuxKubernetes

Avete un problema di produzione su Elasticsearch?

Gli ingegneri Elasticsearch senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.