Panoramica
Un provider di streaming aveva accumulato decine di istanze MySQL tra i vari team, senza uno standard comune per replica, backup o configurazione. Nessuno era in grado di dire con certezza quali database fossero recuperabili e in quanto tempo. AceMQ è stata incaricata di ricostruire il quadro reale.
Sfida
La crescita non pianificata aveva prodotto una deriva di configurazione significativa: istanze con impostazioni del binary log diverse, repliche configurate senza GTID e job di backup che risultavano completati con successo mentre producevano file che nessuno aveva mai ripristinato. Valutare questa situazione richiedeva di verificare le affermazioni, non di raccoglierle.
Ambiente
Parco MySQL su AWS distribuito su più team e più account, a supporto dei servizi di catalogo dei contenuti e di gestione dei diritti di accesso.
Approccio
AceMQ ha censito ogni istanza con la configurazione effettivamente in esecuzione, non quella prevista, e poi ha messo alla prova gli aspetti che contavano. I backup sono stati ripristinati e cronometrati. I percorsi di failover sono stati ricostruiti per verificare se portassero davvero a una destinazione utilizzabile.
Soluzione
- Inventario completo delle istanze, con la configurazione di runtime rilevata direttamente dai server
- Individuazione della deriva di configurazione su binary logging, modalità GTID, impostazioni di durabilità e set di caratteri
- Ripristini di prova cronometrati a partire dai backup esistenti, per stabilire i tempi di recupero reali e scoprire i file inutilizzabili
- Ricostruzione della topologia di replica e dei percorsi di failover per individuare le repliche che non potevano davvero essere promosse
- Revisione del routing delle connessioni e della configurazione dei proxy alla ricerca di single point of failure
- Consegna di una baseline di standard e di un piano con priorità per riallineare le istanze divergenti
Esito
Il provider dispone ora di un inventario accurato, con tempi di recupero basati su ripristini reali anziché sullo stato dei job di backup. Diversi set di backup che risultavano completati con successo si sono rivelati non ripristinabili, e il problema è stato corretto prima che servissero.