Przegląd
Platforma śledzenia przesyłek shardowała swoją największą kolekcję według klucza wyprowadzonego ze znacznika czasu. Każde wstawienie trafiało do tego samego zakresu chunków, więc jeden shard przyjmował całe obciążenie zapisem, a pozostałe pozostawały bezczynne. Kilka chunków urosło też ponad próg podziału na wartościach o niskiej kardynalności i utknęło jako jumbo chunki, których balancer nie chciał przenosić.
Wyzwanie
Zmiana klucza shardowania w działającej kolekcji liczącej wiele terabajtów to nie jest zmiana konfiguracji. Projekt musiał dać klucz, który rozprasza zapisy, nadal obsługuje dominujące wzorce zapytań platformy bez scatter-gather i może zostać wprowadzony ścieżką migracji niewymagającą długiego okna serwisowego.
Środowisko
Shardowany klaster MongoDB obejmujący sprzęt lokalny i zasoby chmurowe, obsługujący śledzenie przesyłek i telemetrię.
Podejście
AceMQ sprofilowało rzeczywisty zestaw zapytań na podstawie slow query logu i kodu aplikacji, a nie udokumentowanych wzorców dostępu, które z czasem się rozjechały. Kandydujące klucze oceniono pod kątem rozkładu zapisów, stosunku zapytań kierowanych do rozgłoszeniowych oraz kardynalności chunków, a następnie zweryfikowano na odtworzonej kopii produkcji, zanim zaproponowano jakąkolwiek zmianę.
Rozwiązanie
- Profilowanie rzeczywistych kształtów zapytań i rozkładu zapisów na poszczególne shardy w celu ustalenia faktycznego, a nie udokumentowanego wzorca dostępu
- Ocena kandydujących złożonych i haszowanych kluczy shardowania pod kątem rozproszenia zapisów, kierowania zapytań i kardynalności chunków
- Weryfikacja rekomendowanego klucza na odtworzonej kopii w skali produkcyjnej przed przyjęciem planu
- Zaprojektowanie etapowej migracji z użyciem reshardingu, ze zdefiniowanymi punktami kontrolnymi i możliwością wycofania na każdym etapie
- Usunięcie istniejących jumbo chunków i poprawa konfiguracji stref, która przypinała zakresy do niewłaściwych shardów
- Udokumentowanie okien balancera i ustawień rozmiaru chunków dopasowanych do profilu ingestii platformy
Efekt
Ruch zapisów rozłożył się na wszystkie shardy zamiast koncentrować się na jednym, a klaster odzyskał możliwość skalowania poziomego przez dodawanie shardów. Liczba zapytań rozgłoszeniowych znacznie spadła, ponieważ nowy klucz utrzymuje dominujące wzorce odczytu jako zapytania kierowane.