Przegląd
Operator płatności uruchamiał repair jako zadanie cron wywołujące pełny repair wszystkich keyspace'ów. Przebiegi regularnie przekraczały okno gc_grace_seconds, nakładały się na siebie i były przerywane, gdy wysycały I/O klastra. Nikt nie potrafił powiedzieć, kiedy ostatnio cały ring przeszedł pełny repair. AceMQ przejęło wsparcie z przypisanymi starszymi inżynierami.
Wyzwanie
Repair, który nie kończy się w ramach gc_grace_seconds, nie jest problemem porządkowym — oznacza, że usunięte dane mogą wrócić po tym, jak kompakcja usunie tombstone'y na części replik, ale nie na wszystkich. Pełne repairy w dużym, wieloośrodkowym ringu były zbyt kosztowne, by mogły się zakończyć, a wywoływany przez nie streaming bezpośrednio konkurował z ruchem produkcyjnym.
Środowisko
Wieloośrodkowa Apache Cassandra działająca on-premises i w chmurze, obsługująca księgę transakcji i dane rozliczeniowe.
Podejście
AceMQ zastąpiło repair całego ringu zaplanowanym, segmentowym, przyrostowym repairem, którego tempo można dopasować do dostępnego zapasu zasobów klastra i który można wznowić po przerwaniu. Strategię kompakcji i ustawienia przepustowości dostrojono osobno dla każdej tabeli, dzięki czemu repair i kompakcja przestały rywalizować o to samo I/O.
Rozwiązanie
- Zastąpienie pełnych repairów uruchamianych przez cron zaplanowanym, segmentowym orkiestratorem repairów, który wznawia pracę zamiast zaczynać od nowa
- Dopasowanie tempa repairu do dostępnego zapasu zasobów klastra, aby nie wysycał już I/O w godzinach pracy
- Dostrojenie strategii kompakcji dla każdej tabeli do rzeczywistych wzorców odczytów, zapisów i usunięć zamiast ustawień domyślnych
- Dopasowanie przepustowości kompakcji i liczby współbieżnych kompaktorów do możliwości pamięci masowej
- Pomiar czasu ukończenia repairu dla każdego keyspace'u względem gc_grace_seconds jako śledzonej metryki z alertami
- Eskalacja 24/7 do starszych inżynierów Cassandra bez pierwszej linii wsparcia (tier 1) po drodze
Efekt
Repair kończy się teraz z dużym zapasem w ramach gc_grace_seconds w każdym keyspace'ie, a jego ukończenie jest mierzone, a nie zakładane. Ryzyko „zmartwychwstania” danych, z którym żył klaster, zostało wyeliminowane, a repair nie pogarsza już opóźnień produkcyjnych w trakcie działania.