Panoramica
Una piattaforma di pagamenti aveva perso un data node per un guasto hardware e il cluster non era più tornato green. Gli shard di replica sono rimasti non assegnati per giorni mentre il traffico di ricerca girava su copie singole, lasciando l'indice a un solo guasto di distanza da una vera perdita di dati.
Sfida
I nodi superstiti avevano superato il disk watermark di flood stage, per cui Elasticsearch aveva applicato un blocco read-only-allow-delete sugli indici e si rifiutava di allocare le repliche mancanti. L'output di allocation explain indicava il watermark, ma il team non riusciva a liberare spazio perché il blocco impediva anche la pulizia con delete-by-query che aveva pianificato. Nel frattempo il translog sugli indici hot continuava a crescere.
Ambiente
Cluster Elasticsearch di circa 20 data node su bare metal, con tiering hot-warm e diversi TB di dati transazionali e di audit indicizzati.
Approccio
Gli ingegneri AceMQ sono partiti dall'API allocation explain invece di andare per tentativi, e hanno poi ridotto la pressione sui dischi in un ordine che permettesse di rimuovere il blocco in sicurezza. Abbiamo spostato gli indici più vecchi sul tier warm, eseguito il force merge dei segmenti read-only per recuperare lo spazio dei documenti cancellati, quindi rimosso il blocco sugli indici e lasciato riprendere l'allocazione con un recovery rate limitato, così che il cluster non saturasse la propria rete durante la ricostruzione.
Soluzione
- Lettura dell'output di cluster allocation explain per ogni shard non assegnato, per confermare che il blocco dipendesse dal watermark e non da una corruzione
- Indici datati spostati sui nodi del tier warm e force merge degli indici read-only per recuperare lo spazio dei documenti cancellati
- Blocco read-only-allow-delete rimosso solo dopo aver ripristinato il margine, evitando di superare di nuovo il flood stage
- indices.recovery.max_bytes_per_sec limitato durante la ricostruzione, così che il recovery delle repliche non sottraesse risorse al traffico di query in produzione
- Watermark low/high/flood impostati in modo esplicito con margini realistici, e alert sui dischi aggiunti prima del watermark high
- Runbook di ripristino documentato, così che il team di reperibilità del cliente possa risolvere la stessa condizione senza escalation
Esito
Il cluster è tornato green con tutte le repliche allocate e senza perdita di indici. Poiché gli alert sui watermark ora scattano ben prima del flood stage, il cliente non ha più incontrato il blocco read-only, e la sostituzione di un nodo è diventata un normale intervento di manutenzione anziché un incidente.