Przegląd
Dostawca analityki bezpieczeństwa utrzymywał tabele ReplicatedMergeTree w klastrze z wieloma shardami. Kolejki replikacji blokowały się za zawieszonymi wpisami, zapytania ad hoc analityków przekraczały limity pamięci i kończyły się błędem, a mutacje usuwające narastały bez ukończenia. AceMQ przejęło wsparcie z przypisanymi starszymi inżynierami i bez pierwszej linii wsparcia (tier 1).
Wyzwanie
Tryby awarii ClickHouse są obce zespołom przychodzącym z wierszowych baz danych. Zawieszony wpis w kolejce replikacji blokuje wszystko za sobą i wymaga celowej interwencji. Na błędy limitu pamięci w zapytaniach analityków odpowiadano podnoszeniem limitów, co zamiast tego zbliżało klaster do presji pamięci na poziomie hosta. Mutacje wykonywano jak rutynowe usuwanie, bez względu na koszt przepisywania danych, jaki ze sobą niosą.
Środowisko
ClickHouse na Kubernetes z koordynacją przez ClickHouse Keeper, obsługujący wyszukiwanie i analitykę zdarzeń bezpieczeństwa.
Podejście
AceMQ opracowało procedury diagnostyczne dla każdej powtarzającej się klasy awarii, aby zespół klienta mógł samodzielnie obsługiwać typowe przypadki, a eskalację zarezerwować dla naprawdę nowych incydentów. Kontrole na poziomie zapytań zastąpiły ogólne podnoszenie limitów pamięci, a praktykę mutacji objęto polityką.
Rozwiązanie
- Opracowanie procedur diagnostyki i odtwarzania dla zawieszonych wpisów w kolejce replikacji i problemów z sesjami Keeper
- Zastąpienie ogólnego podnoszenia limitów pamięci limitami dla poszczególnych zapytań i użytkowników oraz kontrolowanym zrzutem na dysk
- Przepisanie najbardziej kosztownych zapytań analityków tak, aby korzystały z projekcji i tabel agregujących zamiast pełnych skanów
- Wprowadzenie polityki mutacji obejmującej grupowanie, harmonogramowanie i wskazanie, kiedy lepszym narzędziem jest wygasanie oparte na TTL
- Instrumentacja opóźnienia replikacji, zaległości mutacji i zużycia pamięci przez poszczególne zapytania jako śledzonych sygnałów
- Eskalacja 24/7 bezpośrednio do starszych inżynierów ClickHouse w ramach docelowych czasów reakcji od 15 minut, zależnie od planu
Efekt
Zatory replikacji są teraz wykrywane i usuwane, zanim wpłyną na wyniki zapytań, a liczba błędów zapytań związanych z pamięcią spadła do niewielkiego ułamka wcześniejszego poziomu. Zespół klienta rozwiązuje większość powtarzających się przypadków na podstawie runbooków, bez eskalacji.