Przegląd
Klaster Druid operatora telekomunikacyjnego zgromadził lata telemetrii sieciowej bez żadnej polityki kompakcji. Liczba segmentów urosła do milionów, wraz z nią rosła praca koordynatora, a każde zapytanie ponosiło narzut proporcjonalny do liczby segmentów, a nie do wolumenu danych. AceMQ zaprojektowało strategię granulacji i kompakcji.
Wyzwanie
Ingestia strumieniowa w naturalny sposób tworzy małe segmenty o rozmiarze dopasowanym do okna ingestii, a nie do potrzeb zapytań. Bez kompakcji takie segmenty pozostają bezterminowo. Nowy projekt musiał dobrać granulacje do rzeczywistych zakresów czasowych zapytań, zdefiniować partycjonowanie wtórne poprawiające przycinanie (pruning) i zaplanować kompakcję tak, aby nie konkurowała z ingestią o pojemność zadań.
Środowisko
Lokalny klaster Apache Druid przechowujący wieloletnią telemetrię wydajności sieci i abonentów.
Podejście
AceMQ przeanalizowało rozkład zakresów czasowych zapytań dla każdego datasource'u, aby dobrać granulacje segmentów odpowiadające temu, jak dane są faktycznie odpytywane, a następnie zaprojektowało auto-compaction z jawnie zarezerwowaną pojemnością zadań, tak aby działała w sposób ciągły, nie głodząc ingestii.
Rozwiązanie
- Analiza rozkładu zakresów czasowych zapytań dla każdego datasource'u w celu doboru granulacji segmentów na podstawie danych, a nie konwencji
- Zdefiniowanie partycjonowania wtórnego według wymiarów najczęściej używanych w filtrach zapytań, co poprawiło przycinanie w obrębie segmentów
- Konfiguracja auto-compaction z docelowymi rozmiarami segmentów i jawnie zarezerwowaną pojemnością zadań
- Zaplanowanie kompakcji zaległych danych historycznych w ograniczonych fazach, aby nie przeciążyć klastra
- Ustalenie polityki rollupu i agregacji metryk dla każdego datasource'u w celu zmniejszenia rozmiaru segmentów tam, gdzie pozwala na to granulacja zapytań
- Wprowadzenie liczby segmentów i średniego rozmiaru segmentu dla każdego datasource'u jako śledzonych metryk operacyjnych
Efekt
Liczba segmentów drastycznie spadła w miarę kompaktowania zaległości, a auto-compaction utrzymuje ją teraz na stałym poziomie mimo napływu nowych danych. Obciążenie koordynatora spadło, a narzut zapytań skaluje się z wolumenem danych, a nie z liczbą segmentów.