Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Zmiana kształtu insertów, aby scalanie nadążało

Platforma pomiarowa adtech

Usunięcie awarii ingestii, w której częste małe inserty tworzyły części (parts) szybciej, niż scalanie w tle mogło je wycofywać, aż do przekroczenia limitu części.

Przegląd

Platforma pomiarowa zaczęła odrzucać inserty z błędami too-many-parts w godzinach szczytu. Każda instancja aplikacji wstawiała małe paczki wierszy w krótkich odstępach czasu, tworząc znacznie więcej części, niż harmonogram scalania był w stanie wycofać. AceMQ włączył się w ramach SLA dla zgłoszeń awaryjnych.

Wyzwanie

Limit części to zabezpieczenie, a nie sam problem — jego podniesienie pozwala tabeli degradować się dalej, aż zapytania zaczynają się wlec, czytając tysiące części. Prawdziwymi przyczynami były rozmiar paczek insertów, częstotliwość insertów oraz klucz partycjonowania o tak wysokiej kardynalności, że każdy insert dotykał naraz wielu partycji, mnożąc liczbę tworzonych części.

Środowisko

Klaster ClickHouse na AWS pobierający strumienie zdarzeń z Kafki na potrzeby pomiaru kampanii w czasie rzeczywistym.

Podejście

AceMQ zmierzył tempo tworzenia części w odniesieniu do przepustowości scalania dla każdej tabeli, aby określić faktyczną lukę, a następnie w pierwszej kolejności zajął się kształtem insertów, bo żadne strojenie scalania nie zrekompensuje insertów przychodzących w niewłaściwej formie. Zmianę klucza partycjonowania wdrożono etapami, tak aby istniejące dane przez cały czas pozostawały dostępne dla zapytań.

Rozwiązanie

  1. Zmierzenie tempa tworzenia części w odniesieniu do przepustowości scalania dla każdej tabeli, aby określić rzeczywisty deficyt
  2. Połączenie wielu małych insertów aplikacji w mniej liczne, duże paczki za pomocą buforującej warstwy ingestii
  3. Obniżenie kardynalności klucza partycjonowania, aby każdy insert dotykał ograniczonej liczby partycji
  4. Ponowne dostrojenie rozmiaru puli scalania w tle i ustawień scalania do dostępnych zasobów CPU i I/O
  5. Etapowe wdrożenie zmiany klucza partycjonowania, aby istniejące dane pozostały dostępne dla zapytań przez cały okres przejściowy
  6. Dodanie do alertów liczby części na tabelę i zaległości scalania z dużym wyprzedzeniem przed progiem odrzucania

Efekt

Odrzucenia insertów ustały, a liczba części wróciła do zakresu, w którym scalanie nadąża w godzinach szczytu. Ubocznym efektem była poprawa wydajności zapytań, bo skanowania nie muszą już otwierać tysięcy części na tabelę.

Technologie

ClickHouseKafkaKubernetesPrometheus

Problem produkcyjny z ClickHouse?

Starsi inżynierowie ClickHouse w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.