Powrót do wszystkich studiów przypadków

Wsparcie techniczneAdministracja publiczna / obronność

Zakleszczenia rejestru, które pojawiają się tylko wtedy, gdy wszystko restartuje się naraz

Agencja usług rządowych

Usunięcie zakleszczeń w bazie danych rejestru pod równoczesnym obciążeniem, które sporadycznie blokowały wdrażanie API w WSO2 i uruchamianie bramy.

Przegląd

Produkty WSO2 w dużym stopniu opierają się na współdzielonych bazach danych rejestru i konfiguracji. Przy równoczesnych zapisach – skoordynowanym restarcie, masowym wdrożeniu API czy synchronizacji dużego magazynu użytkowników – rywalizacja o blokady w tych tabelach może prowadzić do zakleszczeń, a widocznym objawem jest węzeł, który nie kończy uruchamiania.

Wyzwanie

Po zaplanowanym restarcie serwisowym węzły bramy sporadycznie nie kończyły uruchamiania, a masowe wdrożenia API zawieszały się w połowie. Logi bazy danych pokazywały zakleszczenia na tabelach rejestru. Pula połączeń była zwymiarowana znacznie powyżej tego, ile połączeń baza danych miała skonfigurowane do przyjęcia, więc lawiny ponowień podczas uruchamiania pogarszały rywalizację, zamiast ją łagodzić.

Środowisko

WSO2 API Manager i Identity Server on-premises, współdzielące bazy danych rejestru i magazynu użytkowników w PostgreSQL, wdrożone na wielu węzłach.

Podejście

AceMQ zestawiło sekwencje uruchamiania węzłów z logami zakleszczeń w bazie danych, aby wskazać konkretne tabele, o które toczyła się rywalizacja, oraz zaangażowane operacje. Następnie rozłożyliśmy uruchamianie węzłów w czasie, skorygowaliśmy rozmiar pul w odniesieniu do rzeczywistych limitów bazy danych i zastąpiliśmy równoległe masowe wdrożenia kontrolowaną sekwencją. AceMQ zapewnia przypisanych starszych inżynierów z obsługą 24/7 i bez pierwszej linii wsparcia (tier 1).

Rozwiązanie

  1. Zestawienie sekwencji uruchamiania z logami zakleszczeń w bazie danych w celu wskazania tabel rejestru objętych rywalizacją
  2. Dopasowanie rozmiaru pul połączeń do rzeczywistego maksymalnego limitu połączeń bazy danych
  3. Rozłożenie uruchamiania węzłów w czasie, tak aby nie wszystkie inicjalizowały stan rejestru jednocześnie
  4. Szeregowe wykonywanie masowych operacji wdrażania API zamiast uruchamiania ich równolegle
  5. Strojenie limitów czasu blokad i instrukcji po stronie bazy danych, aby rywalizacja kończyła się szybkim błędem, a nie zawieszeniem
  6. Udokumentowanie procedury restartu serwisowego, która nie przywraca problemu rywalizacji

Efekt

Restarty serwisowe kończą się niezawodnie, a masowe wdrożenia API przebiegają bez zawieszeń. Zakleszczenia na tabelach rejestru nie pojawiają się już w logach bazy danych.

Technologie

WSO2PostgreSQLKubernetesDocker

Potrzebują Państwo eksperckiego wsparcia WSO2?

Starsi inżynierowie WSO2 w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.