Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / płatności

Przejście na tryb Cluster bez psucia operacji na wielu kluczach

Globalny operator płatności

Zaplanowanie migracji z pionowo skalowanego samodzielnego Redis do trybu Cluster, w tym projekt hash tagów i naprawa operacji obejmujących wiele slotów.

Przegląd

Operator płatności przeskalował samodzielną instancję Redis do największego dostępnego hosta i nie miał już dokąd się rozwijać. Przejście na tryb Cluster było oczywistą odpowiedzią, ale aplikacja korzystała z operacji na wielu kluczach i skryptów Lua, które zakładają, że wszystkie klucze znajdują się na jednym węźle. AceMQ zaplanowało i zweryfikowało migrację.

Wyzwanie

Tryb Cluster odrzuca operacje na wielu kluczach, których klucze są mapowane na różne sloty. Znalezienie wszystkich takich operacji w dużej bazie kodu jest trudniejsze, niż się wydaje, bo wiele z nich jest budowanych dynamicznie. Hash tagi pozwalają wymusić umieszczenie powiązanych kluczy w tym samym slocie, ale ich nadużywanie odtwarza problem przeciążonego węzła, który migracja ma rozwiązać.

Środowisko

Redis na Kubernetes obsługujący deduplikację transakcji, rate limiting i przechowywanie kluczy idempotencji.

Podejście

AceMQ zinwentaryzowało rzeczywisty zestaw poleceń na podstawie ruchu produkcyjnego, a nie wyłącznie przeglądu kodu, co ujawniło dynamicznie budowane operacje na wielu kluczach, które umknęły analizie statycznej. Projekt hash tagów został następnie celowo ograniczony, aby zachować równomierny rozkład slotów, a migrację podzielono na etapy z weryfikacją przez podwójny odczyt.

Rozwiązanie

  1. Inwentaryzacja rzeczywistego zestawu poleceń w celu znalezienia operacji na wielu kluczach i skryptów, które umknęły statycznemu przeglądowi kodu
  2. Projekt hash tagów o zakresie na tyle wąskim, by zachować rozkład slotów, a jednocześnie utrzymać powiązane klucze w jednym miejscu
  3. Przepisanie operacji, których nie dało się umieścić w jednym slocie, tak aby działały między slotami bez utraty poprawności
  4. Weryfikacja obsługi klastra i przekierowań w bibliotece klienckiej przed jakąkolwiek zmianą infrastruktury
  5. Projekt etapowej migracji z weryfikacją przez podwójny odczyt i zdefiniowanym punktem wycofania na każdym etapie
  6. Modelowanie rozkładu slotów i obciążenia poszczególnych węzłów na produkcyjnych wzorcach kluczy przed zatwierdzeniem topologii

Efekt

Operator przeszedł na tryb Cluster i zamiast pionowego sufitu zyskał zapas do skalowania horyzontalnego, a rozkład slotów pozostał równomierny także przy produkcyjnych wzorcach kluczy. Operacje na wielu kluczach, które zawiodłyby po cichu, zostały znalezione i poprawione przed przełączeniem.

Technologie

RedisKubernetesTerraformPrometheus

Potrzebują Państwo doradztwa w zakresie architektury Redis?

Starsi inżynierowie Redis w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.