Przegląd
Produkty WSO2 w dużym stopniu opierają się na współdzielonych bazach danych rejestru i konfiguracji. Przy równoczesnych zapisach – skoordynowanym restarcie, masowym wdrożeniu API czy synchronizacji dużego magazynu użytkowników – rywalizacja o blokady w tych tabelach może prowadzić do zakleszczeń, a widocznym objawem jest węzeł, który nie kończy uruchamiania.
Wyzwanie
Po zaplanowanym restarcie serwisowym węzły bramy sporadycznie nie kończyły uruchamiania, a masowe wdrożenia API zawieszały się w połowie. Logi bazy danych pokazywały zakleszczenia na tabelach rejestru. Pula połączeń była zwymiarowana znacznie powyżej tego, ile połączeń baza danych miała skonfigurowane do przyjęcia, więc lawiny ponowień podczas uruchamiania pogarszały rywalizację, zamiast ją łagodzić.
Środowisko
WSO2 API Manager i Identity Server on-premises, współdzielące bazy danych rejestru i magazynu użytkowników w PostgreSQL, wdrożone na wielu węzłach.
Podejście
AceMQ zestawiło sekwencje uruchamiania węzłów z logami zakleszczeń w bazie danych, aby wskazać konkretne tabele, o które toczyła się rywalizacja, oraz zaangażowane operacje. Następnie rozłożyliśmy uruchamianie węzłów w czasie, skorygowaliśmy rozmiar pul w odniesieniu do rzeczywistych limitów bazy danych i zastąpiliśmy równoległe masowe wdrożenia kontrolowaną sekwencją. AceMQ zapewnia przypisanych starszych inżynierów z obsługą 24/7 i bez pierwszej linii wsparcia (tier 1).
Rozwiązanie
- Zestawienie sekwencji uruchamiania z logami zakleszczeń w bazie danych w celu wskazania tabel rejestru objętych rywalizacją
- Dopasowanie rozmiaru pul połączeń do rzeczywistego maksymalnego limitu połączeń bazy danych
- Rozłożenie uruchamiania węzłów w czasie, tak aby nie wszystkie inicjalizowały stan rejestru jednocześnie
- Szeregowe wykonywanie masowych operacji wdrażania API zamiast uruchamiania ich równolegle
- Strojenie limitów czasu blokad i instrukcji po stronie bazy danych, aby rywalizacja kończyła się szybkim błędem, a nie zawieszeniem
- Udokumentowanie procedury restartu serwisowego, która nie przywraca problemu rywalizacji
Efekt
Restarty serwisowe kończą się niezawodnie, a masowe wdrożenia API przebiegają bez zawieszeń. Zakleszczenia na tabelach rejestru nie pojawiają się już w logach bazy danych.