Powrót do wszystkich studiów przypadków

Ocena środowiskaUsługi finansowe / obrót instrumentami

Wiedza o tym, gdzie klaster dojdzie do granic, zanim dane napłyną

Dostawca danych z rynków finansowych

Ocena topologii shardów i replik, warstwowania pamięci masowej, limitów współbieżności zapytań i zachowania scalania (merge) przed znaczącym wzrostem wolumenu danych.

Przegląd

Dostawca danych rynkowych przyłączał kolejne strumienie danych z giełd, które miały wielokrotnie zwiększyć wolumen przechowywanych danych. Zamiast proporcjonalnie skalować klaster, zaangażował AceMQ, aby ustalić, które elementy rzeczywiście muszą urosnąć, a które są źle skonfigurowane.

Wyzwanie

Dobre skalowanie ClickHouse wymaga wiedzy, który zasób faktycznie stanowi ograniczenie. Przepustowość scalania, współbieżność zapytań, obciążenie koordynacyjne Keepera i przepustowość pamięci masowej zawodzą w różny sposób i często są ze sobą mylone. Istniejący klaster nigdy nie był profilowany pod stałym obciążeniem, więc nikt nie wiedział, które ograniczenie pojawi się jako pierwsze.

Środowisko

ClickHouse na sprzęcie on-premises i w chmurowej pamięci obiektowej, obsługujący zapytania o historyczne i śróddzienne dane rynkowe.

Podejście

AceMQ profilowało klaster pod reprezentatywnym stałym obciążeniem zamiast syntetycznych benchmarków, jednocześnie śledząc przepustowość scalania, kolejkowanie zapytań, opóźnienie żądań do Keepera i przepustowość pamięci masowej, aby sprawdzić, co nasyci się jako pierwsze. Ustalenia odniesiono do prognozowanego wzrostu wolumenu.

Rozwiązanie

  1. Profilowanie klastra pod reprezentatywnym stałym obciążeniem w celu ustalenia, który zasób nasyca się jako pierwszy
  2. Przegląd topologii shardów i replik pod kątem routingu zapytań i wymogów odporności na awarie
  3. Ocena wdrożenia Keepera, opóźnienia żądań i obciążenia koordynacyjnego jako samodzielnego ograniczenia skalowania
  4. Ocena konfiguracji warstwowej pamięci masowej i przenoszenia starszych partów do pamięci obiektowej
  5. Przegląd limitów współbieżności zapytań, zachowania kolejkowania i kontroli zasobów per użytkownik
  6. Model pojemności wiążący prognozowany wolumen danych z konkretnymi działaniami skalującymi i ich kolejnością

Efekt

Dostawca przyłączył dodatkowe strumienie danych dzięki ukierunkowanemu skalowaniu, bez proporcjonalnej rozbudowy klastra. Dwa ograniczenia, które ujawniłyby się przed wyczerpaniem pamięci masowej — koordynacja w Keeperze i przepustowość scalania — usunięto przed wzrostem wolumenu.

Technologie

ClickHouseClickHouse KeeperS3Prometheus

Czas na przegląd Health Check ClickHouse?

Starsi inżynierowie ClickHouse w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.