Przegląd
Dostawca danych rynkowych przyłączał kolejne strumienie danych z giełd, które miały wielokrotnie zwiększyć wolumen przechowywanych danych. Zamiast proporcjonalnie skalować klaster, zaangażował AceMQ, aby ustalić, które elementy rzeczywiście muszą urosnąć, a które są źle skonfigurowane.
Wyzwanie
Dobre skalowanie ClickHouse wymaga wiedzy, który zasób faktycznie stanowi ograniczenie. Przepustowość scalania, współbieżność zapytań, obciążenie koordynacyjne Keepera i przepustowość pamięci masowej zawodzą w różny sposób i często są ze sobą mylone. Istniejący klaster nigdy nie był profilowany pod stałym obciążeniem, więc nikt nie wiedział, które ograniczenie pojawi się jako pierwsze.
Środowisko
ClickHouse na sprzęcie on-premises i w chmurowej pamięci obiektowej, obsługujący zapytania o historyczne i śróddzienne dane rynkowe.
Podejście
AceMQ profilowało klaster pod reprezentatywnym stałym obciążeniem zamiast syntetycznych benchmarków, jednocześnie śledząc przepustowość scalania, kolejkowanie zapytań, opóźnienie żądań do Keepera i przepustowość pamięci masowej, aby sprawdzić, co nasyci się jako pierwsze. Ustalenia odniesiono do prognozowanego wzrostu wolumenu.
Rozwiązanie
- Profilowanie klastra pod reprezentatywnym stałym obciążeniem w celu ustalenia, który zasób nasyca się jako pierwszy
- Przegląd topologii shardów i replik pod kątem routingu zapytań i wymogów odporności na awarie
- Ocena wdrożenia Keepera, opóźnienia żądań i obciążenia koordynacyjnego jako samodzielnego ograniczenia skalowania
- Ocena konfiguracji warstwowej pamięci masowej i przenoszenia starszych partów do pamięci obiektowej
- Przegląd limitów współbieżności zapytań, zachowania kolejkowania i kontroli zasobów per użytkownik
- Model pojemności wiążący prognozowany wolumen danych z konkretnymi działaniami skalującymi i ich kolejnością
Efekt
Dostawca przyłączył dodatkowe strumienie danych dzięki ukierunkowanemu skalowaniu, bez proporcjonalnej rozbudowy klastra. Dwa ograniczenia, które ujawniłyby się przed wyczerpaniem pamięci masowej — koordynacja w Keeperze i przepustowość scalania — usunięto przed wzrostem wolumenu.