Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Projekt klucza shardowania, który rozprasza zapisy zamiast je koncentrować

Dostawca technologii dla logistyki i transportu towarowego

Przeprojektowanie monotonicznie rosnącego klucza shardowania, który kierował wszystkie wstawienia do jednego sharda i tworzył jumbo chunki niedające się podzielić.

Przegląd

Platforma śledzenia przesyłek shardowała swoją największą kolekcję według klucza wyprowadzonego ze znacznika czasu. Każde wstawienie trafiało do tego samego zakresu chunków, więc jeden shard przyjmował całe obciążenie zapisem, a pozostałe pozostawały bezczynne. Kilka chunków urosło też ponad próg podziału na wartościach o niskiej kardynalności i utknęło jako jumbo chunki, których balancer nie chciał przenosić.

Wyzwanie

Zmiana klucza shardowania w działającej kolekcji liczącej wiele terabajtów to nie jest zmiana konfiguracji. Projekt musiał dać klucz, który rozprasza zapisy, nadal obsługuje dominujące wzorce zapytań platformy bez scatter-gather i może zostać wprowadzony ścieżką migracji niewymagającą długiego okna serwisowego.

Środowisko

Shardowany klaster MongoDB obejmujący sprzęt lokalny i zasoby chmurowe, obsługujący śledzenie przesyłek i telemetrię.

Podejście

AceMQ sprofilowało rzeczywisty zestaw zapytań na podstawie slow query logu i kodu aplikacji, a nie udokumentowanych wzorców dostępu, które z czasem się rozjechały. Kandydujące klucze oceniono pod kątem rozkładu zapisów, stosunku zapytań kierowanych do rozgłoszeniowych oraz kardynalności chunków, a następnie zweryfikowano na odtworzonej kopii produkcji, zanim zaproponowano jakąkolwiek zmianę.

Rozwiązanie

  1. Profilowanie rzeczywistych kształtów zapytań i rozkładu zapisów na poszczególne shardy w celu ustalenia faktycznego, a nie udokumentowanego wzorca dostępu
  2. Ocena kandydujących złożonych i haszowanych kluczy shardowania pod kątem rozproszenia zapisów, kierowania zapytań i kardynalności chunków
  3. Weryfikacja rekomendowanego klucza na odtworzonej kopii w skali produkcyjnej przed przyjęciem planu
  4. Zaprojektowanie etapowej migracji z użyciem reshardingu, ze zdefiniowanymi punktami kontrolnymi i możliwością wycofania na każdym etapie
  5. Usunięcie istniejących jumbo chunków i poprawa konfiguracji stref, która przypinała zakresy do niewłaściwych shardów
  6. Udokumentowanie okien balancera i ustawień rozmiaru chunków dopasowanych do profilu ingestii platformy

Efekt

Ruch zapisów rozłożył się na wszystkie shardy zamiast koncentrować się na jednym, a klaster odzyskał możliwość skalowania poziomego przez dodawanie shardów. Liczba zapytań rozgłoszeniowych znacznie spadła, ponieważ nowy klucz utrzymuje dominujące wzorce odczytu jako zapytania kierowane.

Technologie

MongoDBKubernetesKafkaTerraform

Potrzebują Państwo doradztwa w zakresie architektury MongoDB?

Starsi inżynierowie MongoDB w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.