Przegląd
Problemy z opóźnieniami zapytań federacyjnych przekraczają granice systemów, przez co trudno przypisać za nie odpowiedzialność wewnątrz organizacji — zespół Trino obwinia źródło, zespół źródła obwinia Trino, a nikt nie ma pełnego obrazu. AceMQ zapewnia przypisanych starszych inżynierów, którzy rozumieją obie strony.
Wyzwanie
Regresje opóźnień w Starburst często mają charakter środowiskowy, a nie strukturalny: baza źródłowa zmieniła indeks, statystyki zdezaktualizowały się po ładowaniu masowym, aktualizacja konektora zmieniła zachowanie pushdown albo kolejka na koordynatorze urosła, bo współbieżność stopniowo wzrosła. Z perspektywy narzędzia BI każda z tych sytuacji wygląda identycznie — dashboard działa wolno — a ich diagnoza wymaga dostępu i wiedzy po obu stronach konektora.
Środowisko
Wdrożenia Starburst Enterprise lub Galaxy na Kubernetes, maszynach wirtualnych lub w zarządzanej chmurze, federujące wiele produkcyjnych źródeł.
Podejście
Inżynierowie AceMQ analizują jednocześnie historię zdarzeń zapytań, metryki kolejki koordynatora i plany wykonania po stronie źródła, dzięki czemu regresję można poprawnie przypisać, zamiast się o nią spierać. Natychmiastowym środkiem zaradczym może być zmiana resource group lub przepisanie zapytania; dalsze działania dotyczą statystyk, konfiguracji konektora lub indeksu po stronie źródła, które ją spowodowały.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
- Analiza historii zdarzeń zapytań i kolejki koordynatora w celu oddzielenia powolnego wykonania od opóźnienia przy przyjmowaniu zapytań
- Porównanie planów po stronie źródła w celu ustalenia, czy regresja powstała w Trino, czy w systemie bazowym
- Przegląd regresji po aktualizacji konektora i zmianach konfiguracji po zmianach wersji Starburst lub źródła
- Kontrole aktualności statystyk i harmonogramowanie ANALYZE dla tabel, które zmieniły kształt po ładowaniu masowym
- Dostosowanie współbieżności i resource groups na wypadek lawin zapytań z narzędzi BI
Efekt
Regresje opóźnień są szybko przypisywane właściwemu systemowi, co skraca czas rozwiązania i kończy impas między zespołami, który zwykle towarzyszy problemom z zapytaniami federacyjnymi.