Powrót do wszystkich studiów przypadków

DoradztwoPrzemysł / produkcja

Klucze sortowania i projekcje, które zmniejszają skanowany zakres

Operator przemysłowej platformy IoT

Przeprojektowanie kluczy ORDER BY, partycjonowania, kodeków i widoków zmaterializowanych tak, aby zapytania dashboardów odczytywały niewielki ułamek danych zamiast pełnych skanów.

Przegląd

Operator przemysłowej platformy IoT miał tabele ClickHouse, które w chwili utworzenia działały dobrze, a w miarę narastania danych z czujników stopniowo zwalniały. Zapytania dashboardów odczytywały większość każdej tabeli, ponieważ klucz sortowania nie odpowiadał sposobowi filtrowania danych. AceMQ przeprojektowało schemat pod rzeczywisty zestaw zapytań.

Wyzwanie

Wydajność ClickHouse w dużej mierze zależy od tego, ile danych zapytanie może pominąć, a to sprowadza się do kolejności klucza sortowania, partycjonowania i granularności indeksu. Istniejące tabele utworzono z kluczem sortowania, w którym na pierwszym miejscu stał identyfikator o wysokiej kardynalności, więc rzadki indeks główny prawie nie pozwalał pomijać danych przy filtrach zakresu czasu stosowanych przez każdy dashboard.

Środowisko

Lokalny klaster ClickHouse przechowujący wieloletnią telemetrię z czujników na potrzeby dashboardów monitorowania zakładów.

Podejście

AceMQ sprofilowało rzeczywisty zestaw zapytań i dla każdego zapytania zmierzyło, ile granul jest odczytywanych, a ile z nich zawiera pasujące wiersze. Ta różnica wyznaczyła kierunek przeprojektowania klucza sortowania i partycjonowania. Kodeki i kompresję dobrano następnie dla każdej kolumny na podstawie zmierzonej charakterystyki danych, a nie wartości domyślnych.

Rozwiązanie

  1. Profilowanie zestawu zapytań dashboardów i pomiar granul odczytanych w porównaniu z granulami zawierającymi dopasowania
  2. Zmiana kolejności kluczy sortowania tak, aby zaczynały się od kolumn, po których zapytania faktycznie filtrują, co przywróciło pomijanie danych przez indeks
  3. Dobór granularności partycji, która ogranicza liczbę partów, a jednocześnie umożliwia przycinanie partycji przy zakresach czasu
  4. Zastosowanie kodeków dla poszczególnych kolumn dopasowanych do zmierzonej charakterystyki danych w szeregach czasowych i kolumnach o niskiej kardynalności
  5. Wprowadzenie widoków zmaterializowanych i tabel agregujących dla powtarzających się zestawień w dashboardach
  6. Zdefiniowanie polityk TTL przenoszących starsze dane do tańszego magazynu i usuwających je według udokumentowanego harmonogramu

Efekt

Zapytania dashboardów zamiast skanować większość każdej tabeli odczytują teraz jej niewielki ułamek, a typowe czasy odpowiedzi poprawiły się mniej więcej o rząd wielkości. Dzięki zmianom kodeków i TTL wyraźnie zmniejszyło się też zajmowane miejsce na dysku.

Technologie

ClickHouseKafkaGrafanaLinux

Potrzebują Państwo doradztwa w zakresie architektury ClickHouse?

Starsi inżynierowie ClickHouse w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.