Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Modelowanie pod zapytania, które faktycznie są wykonywane

Dostawca usług tożsamości cyfrowej

Przeprojektowanie kluczy partycji i kolejności klastrowania w celu wyeliminowania nieograniczonych partycji i usunięcia zapytań po indeksach wtórnych, które trafiały do każdego węzła.

Przegląd

Dostawca usług tożsamości zamodelował tabele Cassandra tak, jakby były relacyjne, a następnie dodał indeksy wtórne dla zapytań, których klucz główny nie obsługiwał. Niektóre partycje rozrosły się do gigabajtów, a zapytania korzystające z indeksów rozchodziły się do każdego węzła w pierścieniu. AceMQ otrzymał zadanie przeprojektowania modelu.

Wyzwanie

Cassandra nagradza modelowanie wokół wzorców zapytań, a karze modelowanie wokół encji. Nowy projekt musiał ograniczyć wzrost partycji, zapewnić obsługę dominujących zapytań platformy przez pojedynczy zestaw replik i dać się wdrażać przyrostowo — dostawca nie mógł wstrzymać zapisów, by przebudować tabele w całości.

Środowisko

Apache Cassandra na Kubernetes, obsługująca usługi weryfikacji tożsamości i zarządzania cyklem życia poświadczeń.

Podejście

AceMQ zinwentaryzował każde zapytanie wysyłane przez aplikację i na tej podstawie wyprowadził tabele potrzebne do ich obsługi, akceptując denormalizację tam, gdzie eliminowała rozgałęzianie zapytań na wiele węzłów. Rozmiar partycji prognozowano z uwzględnieniem kilku lat wzrostu, a nie bieżącego wolumenu, a migrację zaprojektowano z podwójnym zapisem, tak aby przełączenie nie wymagało żadnego okna przestoju.

Rozwiązanie

  1. Inwentaryzacja rzeczywistych wzorców zapytań aplikacji i wyprowadzenie z nich wymaganych projektów tabel
  2. Wprowadzenie kubełkowania według czasu i hasha w celu ograniczenia wzrostu partycji względem wieloletnich prognoz
  3. Zastąpienie zapytań po indeksach wtórnych dedykowanymi, zdenormalizowanymi tabelami, co wyeliminowało rozgałęzianie zapytań na cały klaster
  4. Dobór kluczy klastrowania i kolejności sortowania pod skany zakresowe i stronicowanie bez sortowania w pamięci
  5. Zaprojektowanie ścieżki migracji z podwójnym zapisem i uzupełnianiem danych, dzięki której przełączenie nie wymagało zamrożenia zapisów
  6. Ustalenie limitów rozmiaru partycji i liczby wierszy wraz z monitoringiem, aby wychwytywać regresje w przyszłych pracach rozwojowych

Efekt

Zapytania rozgałęziające się na cały klaster zostały usunięte z gorącej ścieżki, a największe partycje wróciły do poziomu o rząd wielkości bliższego zalecanemu limitowi. Opóźnienia odczytu stały się przewidywalne w całej przestrzeni kluczy, zamiast zmieniać się wraz z rozmiarem partycji.

Technologie

Apache CassandraKubernetesKafkaPrometheus

Potrzebują Państwo doradztwa w zakresie architektury Apache Cassandra?

Starsi inżynierowie Apache Cassandra w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.