Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Wsparcie techniczne ClickHouse 24/7 ze starszymi inżynierami i docelowymi czasami reakcji od 15 minut, zależnie od planu

Dostawca analityki cyberbezpieczeństwa

Stałe wsparcie techniczne dla klastrów ReplicatedMergeTree obejmujące zatory w kolejce replikacji, błędy limitu pamięci przy dużych zapytaniach i zaległości mutacji.

Przegląd

Dostawca analityki bezpieczeństwa utrzymywał tabele ReplicatedMergeTree w klastrze z wieloma shardami. Kolejki replikacji blokowały się za zawieszonymi wpisami, zapytania ad hoc analityków przekraczały limity pamięci i kończyły się błędem, a mutacje usuwające narastały bez ukończenia. AceMQ przejęło wsparcie z przypisanymi starszymi inżynierami i bez pierwszej linii wsparcia (tier 1).

Wyzwanie

Tryby awarii ClickHouse są obce zespołom przychodzącym z wierszowych baz danych. Zawieszony wpis w kolejce replikacji blokuje wszystko za sobą i wymaga celowej interwencji. Na błędy limitu pamięci w zapytaniach analityków odpowiadano podnoszeniem limitów, co zamiast tego zbliżało klaster do presji pamięci na poziomie hosta. Mutacje wykonywano jak rutynowe usuwanie, bez względu na koszt przepisywania danych, jaki ze sobą niosą.

Środowisko

ClickHouse na Kubernetes z koordynacją przez ClickHouse Keeper, obsługujący wyszukiwanie i analitykę zdarzeń bezpieczeństwa.

Podejście

AceMQ opracowało procedury diagnostyczne dla każdej powtarzającej się klasy awarii, aby zespół klienta mógł samodzielnie obsługiwać typowe przypadki, a eskalację zarezerwować dla naprawdę nowych incydentów. Kontrole na poziomie zapytań zastąpiły ogólne podnoszenie limitów pamięci, a praktykę mutacji objęto polityką.

Rozwiązanie

  1. Opracowanie procedur diagnostyki i odtwarzania dla zawieszonych wpisów w kolejce replikacji i problemów z sesjami Keeper
  2. Zastąpienie ogólnego podnoszenia limitów pamięci limitami dla poszczególnych zapytań i użytkowników oraz kontrolowanym zrzutem na dysk
  3. Przepisanie najbardziej kosztownych zapytań analityków tak, aby korzystały z projekcji i tabel agregujących zamiast pełnych skanów
  4. Wprowadzenie polityki mutacji obejmującej grupowanie, harmonogramowanie i wskazanie, kiedy lepszym narzędziem jest wygasanie oparte na TTL
  5. Instrumentacja opóźnienia replikacji, zaległości mutacji i zużycia pamięci przez poszczególne zapytania jako śledzonych sygnałów
  6. Eskalacja 24/7 bezpośrednio do starszych inżynierów ClickHouse w ramach docelowych czasów reakcji od 15 minut, zależnie od planu

Efekt

Zatory replikacji są teraz wykrywane i usuwane, zanim wpłyną na wyniki zapytań, a liczba błędów zapytań związanych z pamięcią spadła do niewielkiego ułamka wcześniejszego poziomu. Zespół klienta rozwiązuje większość powtarzających się przypadków na podstawie runbooków, bez eskalacji.

Technologie

ClickHouseClickHouse KeeperKubernetesPrometheus

Potrzebują Państwo eksperckiego wsparcia ClickHouse?

Starsi inżynierowie ClickHouse w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.