Powrót do wszystkich studiów przypadków

Wsparcie techniczneUsługi finansowe / płatności

Repair, który się kończy — według harmonogramu, który można udowodnić

Globalny operator płatności

Stałe wsparcie dla anti-entropy repair, który nigdy nie kończył się w oknie gc_grace_seconds, przez co klaster był narażony na „zmartwychwstanie” usuniętych danych.

Przegląd

Operator płatności uruchamiał repair jako zadanie cron wywołujące pełny repair wszystkich keyspace'ów. Przebiegi regularnie przekraczały okno gc_grace_seconds, nakładały się na siebie i były przerywane, gdy wysycały I/O klastra. Nikt nie potrafił powiedzieć, kiedy ostatnio cały ring przeszedł pełny repair. AceMQ przejęło wsparcie z przypisanymi starszymi inżynierami.

Wyzwanie

Repair, który nie kończy się w ramach gc_grace_seconds, nie jest problemem porządkowym — oznacza, że usunięte dane mogą wrócić po tym, jak kompakcja usunie tombstone'y na części replik, ale nie na wszystkich. Pełne repairy w dużym, wieloośrodkowym ringu były zbyt kosztowne, by mogły się zakończyć, a wywoływany przez nie streaming bezpośrednio konkurował z ruchem produkcyjnym.

Środowisko

Wieloośrodkowa Apache Cassandra działająca on-premises i w chmurze, obsługująca księgę transakcji i dane rozliczeniowe.

Podejście

AceMQ zastąpiło repair całego ringu zaplanowanym, segmentowym, przyrostowym repairem, którego tempo można dopasować do dostępnego zapasu zasobów klastra i który można wznowić po przerwaniu. Strategię kompakcji i ustawienia przepustowości dostrojono osobno dla każdej tabeli, dzięki czemu repair i kompakcja przestały rywalizować o to samo I/O.

Rozwiązanie

  1. Zastąpienie pełnych repairów uruchamianych przez cron zaplanowanym, segmentowym orkiestratorem repairów, który wznawia pracę zamiast zaczynać od nowa
  2. Dopasowanie tempa repairu do dostępnego zapasu zasobów klastra, aby nie wysycał już I/O w godzinach pracy
  3. Dostrojenie strategii kompakcji dla każdej tabeli do rzeczywistych wzorców odczytów, zapisów i usunięć zamiast ustawień domyślnych
  4. Dopasowanie przepustowości kompakcji i liczby współbieżnych kompaktorów do możliwości pamięci masowej
  5. Pomiar czasu ukończenia repairu dla każdego keyspace'u względem gc_grace_seconds jako śledzonej metryki z alertami
  6. Eskalacja 24/7 do starszych inżynierów Cassandra bez pierwszej linii wsparcia (tier 1) po drodze

Efekt

Repair kończy się teraz z dużym zapasem w ramach gc_grace_seconds w każdym keyspace'ie, a jego ukończenie jest mierzone, a nie zakładane. Ryzyko „zmartwychwstania” danych, z którym żył klaster, zostało wyeliminowane, a repair nie pogarsza już opóźnień produkcyjnych w trakcie działania.

Technologie

Apache CassandraReaperPrometheusKubernetes

Potrzebują Państwo eksperckiego wsparcia Apache Cassandra?

Starsi inżynierowie Apache Cassandra w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.