Powrót do wszystkich studiów przypadków

Wsparcie techniczneEnergetyka / media

Starsi inżynierowie Trino w gotowości, gdy zapytania federacyjne przestają działać wydajnie

Firma handlująca energią

Wsparcie z przypisanymi inżynierami przy regresjach opóźnień Starburst i Trino, awariach konektorów i problemach ze współbieżnością na produkcji.

Przegląd

Problemy z opóźnieniami zapytań federacyjnych przekraczają granice systemów, przez co trudno przypisać za nie odpowiedzialność wewnątrz organizacji — zespół Trino obwinia źródło, zespół źródła obwinia Trino, a nikt nie ma pełnego obrazu. AceMQ zapewnia przypisanych starszych inżynierów, którzy rozumieją obie strony.

Wyzwanie

Regresje opóźnień w Starburst często mają charakter środowiskowy, a nie strukturalny: baza źródłowa zmieniła indeks, statystyki zdezaktualizowały się po ładowaniu masowym, aktualizacja konektora zmieniła zachowanie pushdown albo kolejka na koordynatorze urosła, bo współbieżność stopniowo wzrosła. Z perspektywy narzędzia BI każda z tych sytuacji wygląda identycznie — dashboard działa wolno — a ich diagnoza wymaga dostępu i wiedzy po obu stronach konektora.

Środowisko

Wdrożenia Starburst Enterprise lub Galaxy na Kubernetes, maszynach wirtualnych lub w zarządzanej chmurze, federujące wiele produkcyjnych źródeł.

Podejście

Inżynierowie AceMQ analizują jednocześnie historię zdarzeń zapytań, metryki kolejki koordynatora i plany wykonania po stronie źródła, dzięki czemu regresję można poprawnie przypisać, zamiast się o nią spierać. Natychmiastowym środkiem zaradczym może być zmiana resource group lub przepisanie zapytania; dalsze działania dotyczą statystyk, konfiguracji konektora lub indeksu po stronie źródła, które ją spowodowały.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
  2. Analiza historii zdarzeń zapytań i kolejki koordynatora w celu oddzielenia powolnego wykonania od opóźnienia przy przyjmowaniu zapytań
  3. Porównanie planów po stronie źródła w celu ustalenia, czy regresja powstała w Trino, czy w systemie bazowym
  4. Przegląd regresji po aktualizacji konektora i zmianach konfiguracji po zmianach wersji Starburst lub źródła
  5. Kontrole aktualności statystyk i harmonogramowanie ANALYZE dla tabel, które zmieniły kształt po ładowaniu masowym
  6. Dostosowanie współbieżności i resource groups na wypadek lawin zapytań z narzędzi BI

Efekt

Regresje opóźnień są szybko przypisywane właściwemu systemowi, co skraca czas rozwiązania i kończy impas między zespołami, który zwykle towarzyszy problemom z zapytaniami federacyjnymi.

Technologie

StarburstTrinoApache HiveKubernetes

Potrzebują Państwo eksperckiego wsparcia Starburst?

Starsi inżynierowie Starburst w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.