Przegląd
Dostawca usług streamingu zgromadził w różnych zespołach dziesiątki instancji MySQL bez spójnego standardu replikacji, kopii zapasowych i konfiguracji. Nikt nie potrafił z pewnością powiedzieć, które bazy danych da się odtworzyć i jak szybko. AceMQ zaangażowano, aby ustalić rzeczywisty obraz sytuacji.
Wyzwanie
Niekontrolowany rozrost doprowadził do znacznego dryfu konfiguracji: instancje z różnymi ustawieniami binary logu, repliki skonfigurowane bez GTID i zadania kopii zapasowych raportujące sukces, choć tworzyły artefakty, których nikt nigdy nie odtwarzał. Ocena wymagała weryfikowania deklaracji, a nie tylko ich zbierania.
Środowisko
Środowisko MySQL na AWS obejmujące wiele zespołów i granice kont, obsługujące katalog treści i usługi uprawnień.
Podejście
AceMQ zinwentaryzowało każdą instancję wraz z jej faktyczną konfiguracją runtime, a nie zamierzoną, a następnie przetestowało elementy, które miały znaczenie. Kopie zapasowe odtworzono i zmierzono czas odtwarzania. Ścieżki failover prześledzono, aby sprawdzić, czy prowadzą do jakiegokolwiek użytecznego miejsca.
Rozwiązanie
- Zbudowanie pełnej inwentaryzacji instancji z konfiguracją runtime pobraną bezpośrednio z serwerów
- Wskazanie dryfu konfiguracji w zakresie binary logu, trybu GTID, ustawień trwałości i zestawów znaków
- Przeprowadzenie testowych odtworzeń z istniejących kopii zapasowych z pomiarem czasu, aby ustalić rzeczywiste czasy odtwarzania i ujawnić bezużyteczne artefakty
- Prześledzenie topologii replikacji i ścieżek failover w celu znalezienia replik, których w praktyce nie da się wypromować
- Przegląd routingu połączeń i konfiguracji proxy pod kątem pojedynczych punktów awarii
- Przekazanie bazowego standardu oraz priorytetyzowanego planu doprowadzenia instancji z dryfem do zgodności
Efekt
Dostawca zyskał dokładną inwentaryzację z czasami odtwarzania potwierdzonymi rzeczywistymi odtworzeniami, a nie statusem zadań kopii zapasowych. Kilka zestawów kopii, które raportowały sukces, okazało się niemożliwych do odtworzenia — problem usunięto, zanim kopie okazały się potrzebne.