Przegląd
Platforma pomiarowa zaczęła odrzucać inserty z błędami too-many-parts w godzinach szczytu. Każda instancja aplikacji wstawiała małe paczki wierszy w krótkich odstępach czasu, tworząc znacznie więcej części, niż harmonogram scalania był w stanie wycofać. AceMQ włączył się w ramach SLA dla zgłoszeń awaryjnych.
Wyzwanie
Limit części to zabezpieczenie, a nie sam problem — jego podniesienie pozwala tabeli degradować się dalej, aż zapytania zaczynają się wlec, czytając tysiące części. Prawdziwymi przyczynami były rozmiar paczek insertów, częstotliwość insertów oraz klucz partycjonowania o tak wysokiej kardynalności, że każdy insert dotykał naraz wielu partycji, mnożąc liczbę tworzonych części.
Środowisko
Klaster ClickHouse na AWS pobierający strumienie zdarzeń z Kafki na potrzeby pomiaru kampanii w czasie rzeczywistym.
Podejście
AceMQ zmierzył tempo tworzenia części w odniesieniu do przepustowości scalania dla każdej tabeli, aby określić faktyczną lukę, a następnie w pierwszej kolejności zajął się kształtem insertów, bo żadne strojenie scalania nie zrekompensuje insertów przychodzących w niewłaściwej formie. Zmianę klucza partycjonowania wdrożono etapami, tak aby istniejące dane przez cały czas pozostawały dostępne dla zapytań.
Rozwiązanie
- Zmierzenie tempa tworzenia części w odniesieniu do przepustowości scalania dla każdej tabeli, aby określić rzeczywisty deficyt
- Połączenie wielu małych insertów aplikacji w mniej liczne, duże paczki za pomocą buforującej warstwy ingestii
- Obniżenie kardynalności klucza partycjonowania, aby każdy insert dotykał ograniczonej liczby partycji
- Ponowne dostrojenie rozmiaru puli scalania w tle i ustawień scalania do dostępnych zasobów CPU i I/O
- Etapowe wdrożenie zmiany klucza partycjonowania, aby istniejące dane pozostały dostępne dla zapytań przez cały okres przejściowy
- Dodanie do alertów liczby części na tabelę i zaległości scalania z dużym wyprzedzeniem przed progiem odrzucania
Efekt
Odrzucenia insertów ustały, a liczba części wróciła do zakresu, w którym scalanie nadąża w godzinach szczytu. Ubocznym efektem była poprawa wydajności zapytań, bo skanowania nie muszą już otwierać tysięcy części na tabelę.