Przegląd
Środowiska Spark rozrastają się przez nawarstwianie. Zadania są kopiowane, żądania zasobów zawyża się raz, by zdążyć z terminem, i nigdy ich nie koryguje, a potoki żyją dłużej niż raporty, które zasilały. AceMQ profiluje całe środowisko i przekazuje uszeregowaną listę tego, co naprawić, co skonsolidować, a co usunąć.
Wyzwanie
Nikt nie ma pełnego obrazu tego, które zadania działają, ile kosztują i kto korzysta z ich wyników. Liczby executorów i ustawienia pamięci dobierano asekuracyjnie, a nie na podstawie pomiarów. Kilka potoków wylicza niemal ten sam agregat z tego samego źródła. Znaczna część zadań przetwarza tak małe wolumeny, że narzut Sparka przewyższa samą pracę — jako proces jednowęzłowy działałyby szybciej.
Środowisko
Apache Spark na Kubernetes, EMR, Dataproc lub Databricks, z zadaniami orkiestrowanymi przez Airflow lub natywny scheduler.
Podejście
AceMQ zbiera logi zdarzeń i historię schedulera z całego środowiska, aby zbudować profile czasu wykonania, przydziału zasobów i wykorzystania dla każdego zadania. Przydzielone zasoby są porównywane ze szczytowym zaobserwowanym zużyciem w celu wykrycia nadmiarowej alokacji, a lineage wyników jest śledzone, aby znaleźć potoki, których odbiorcy już nie istnieją. Każde ustalenie zawiera konkretną rekomendowaną czynność, a nie ogólną obserwację.
Rozwiązanie
- Inwentaryzacja zadań w całym środowisku z czasem wykonania, przydzielonymi zasobami, szczytowym wykorzystaniem i kosztem pojedynczego uruchomienia
- Analiza nadmiarowej alokacji porównująca żądaną pamięć i rdzenie executorów ze zmierzonym szczytowym zużyciem
- Wykrywanie zduplikowanych i niemal zduplikowanych potoków na podstawie lineage źródeł i wyników
- Identyfikacja zadań o małym wolumenie, w których narzut Sparka przewyższa samą pracę, a silnik jednowęzłowy jest szybszy i tańszy
- Wykrywanie osieroconych potoków, których wyników nie czytają już żadni odbiorcy
- Uszeregowany backlog działań naprawczych według zaoszczędzonych kosztów w relacji do wymaganego nakładu pracy inżynierskiej
Efekt
Klienci otrzymują konkretny, uporządkowany backlog zamiast ogólnego raportu o efektywności. W większości środowisk jest na tyle dużo nadmiarowo przydzielonej i osieroconej pracy, że wydatki na moc obliczeniową można znacząco obniżyć, zanim jakiekolwiek zadanie zostanie przepisane.