Panoramica
Un processore di pagamenti aveva scalato un'istanza Redis standalone fino all'host più grande disponibile e non aveva più margini. Passare alla modalità Cluster era la risposta ovvia, ma l'applicazione usava operazioni multi-chiave e script Lua che presuppongono che tutte le chiavi risiedano su un solo nodo. AceMQ ha pianificato e validato la migrazione.
Sfida
La modalità Cluster rifiuta le operazioni multi-chiave le cui chiavi ricadono, tramite hash, in slot diversi. Trovare ogni operazione di questo tipo in una codebase di grandi dimensioni è più difficile di quanto sembri, perché molte vengono costruite dinamicamente. Gli hash tag possono forzare chiavi correlate sullo stesso slot, ma abusarne ricrea il problema dell'hot node che la migrazione deve risolvere.
Ambiente
Redis su Kubernetes a supporto di deduplicazione delle transazioni, rate limiting e memorizzazione delle chiavi di idempotenza.
Approccio
AceMQ ha censito il mix di comandi effettivo a partire dal traffico reale, non dalla sola revisione del codice, facendo emergere operazioni multi-chiave costruite dinamicamente che l'analisi statica non aveva individuato. La progettazione degli hash tag è stata poi volutamente vincolata per preservare la distribuzione degli slot, e la migrazione è stata eseguita per fasi con validazione a doppia lettura.
Soluzione
- Censimento del mix di comandi reale per trovare operazioni multi-chiave e script sfuggiti alla revisione statica del codice
- Hash tag progettati con uno scope abbastanza ristretto da preservare la distribuzione degli slot mantenendo co-locate le chiavi correlate
- Riscrittura delle operazioni non co-locabili perché funzionino tra slot diversi senza perdita di correttezza
- Validazione del supporto cluster e della gestione dei redirect nelle librerie client prima di qualsiasi modifica all'infrastruttura
- Progettazione di una migrazione per fasi con validazione a doppia lettura e un punto di rollback definito in ogni fase
- Modellazione della distribuzione degli slot e del carico per nodo sui pattern di chiavi di produzione prima di fissare la topologia
Esito
Il processore è passato alla modalità Cluster con margine di crescita orizzontale al posto di un tetto verticale, e la distribuzione degli slot si è mantenuta uniforme anche con i pattern di chiavi di produzione. Le operazioni multi-chiave che avrebbero fallito senza segnalarlo sono state individuate e corrette prima del cutover.