Przegląd
Operator płatności przeskalował samodzielną instancję Redis do największego dostępnego hosta i nie miał już dokąd się rozwijać. Przejście na tryb Cluster było oczywistą odpowiedzią, ale aplikacja korzystała z operacji na wielu kluczach i skryptów Lua, które zakładają, że wszystkie klucze znajdują się na jednym węźle. AceMQ zaplanowało i zweryfikowało migrację.
Wyzwanie
Tryb Cluster odrzuca operacje na wielu kluczach, których klucze są mapowane na różne sloty. Znalezienie wszystkich takich operacji w dużej bazie kodu jest trudniejsze, niż się wydaje, bo wiele z nich jest budowanych dynamicznie. Hash tagi pozwalają wymusić umieszczenie powiązanych kluczy w tym samym slocie, ale ich nadużywanie odtwarza problem przeciążonego węzła, który migracja ma rozwiązać.
Środowisko
Redis na Kubernetes obsługujący deduplikację transakcji, rate limiting i przechowywanie kluczy idempotencji.
Podejście
AceMQ zinwentaryzowało rzeczywisty zestaw poleceń na podstawie ruchu produkcyjnego, a nie wyłącznie przeglądu kodu, co ujawniło dynamicznie budowane operacje na wielu kluczach, które umknęły analizie statycznej. Projekt hash tagów został następnie celowo ograniczony, aby zachować równomierny rozkład slotów, a migrację podzielono na etapy z weryfikacją przez podwójny odczyt.
Rozwiązanie
- Inwentaryzacja rzeczywistego zestawu poleceń w celu znalezienia operacji na wielu kluczach i skryptów, które umknęły statycznemu przeglądowi kodu
- Projekt hash tagów o zakresie na tyle wąskim, by zachować rozkład slotów, a jednocześnie utrzymać powiązane klucze w jednym miejscu
- Przepisanie operacji, których nie dało się umieścić w jednym slocie, tak aby działały między slotami bez utraty poprawności
- Weryfikacja obsługi klastra i przekierowań w bibliotece klienckiej przed jakąkolwiek zmianą infrastruktury
- Projekt etapowej migracji z weryfikacją przez podwójny odczyt i zdefiniowanym punktem wycofania na każdym etapie
- Modelowanie rozkładu slotów i obciążenia poszczególnych węzłów na produkcyjnych wzorcach kluczy przed zatwierdzeniem topologii
Efekt
Operator przeszedł na tryb Cluster i zamiast pionowego sufitu zyskał zapas do skalowania horyzontalnego, a rozkład slotów pozostał równomierny także przy produkcyjnych wzorcach kluczy. Operacje na wielu kluczach, które zawiodłyby po cichu, zostały znalezione i poprawione przed przełączeniem.