Powrót do wszystkich studiów przypadków

Ocena środowiskaOprogramowanie / platformy cyfrowe

Które zadania Spark są warte swojej mocy obliczeniowej, a które nie

Dostawca usług streamingu mediów

Profilowanie środowiska Spark w celu znalezienia zadań z nadmiarowo przydzielonymi zasobami, zbędnych potoków i obciążeń, którym lepiej posłużyłoby coś innego niż Spark.

Przegląd

Środowiska Spark rozrastają się przez nawarstwianie. Zadania są kopiowane, żądania zasobów zawyża się raz, by zdążyć z terminem, i nigdy ich nie koryguje, a potoki żyją dłużej niż raporty, które zasilały. AceMQ profiluje całe środowisko i przekazuje uszeregowaną listę tego, co naprawić, co skonsolidować, a co usunąć.

Wyzwanie

Nikt nie ma pełnego obrazu tego, które zadania działają, ile kosztują i kto korzysta z ich wyników. Liczby executorów i ustawienia pamięci dobierano asekuracyjnie, a nie na podstawie pomiarów. Kilka potoków wylicza niemal ten sam agregat z tego samego źródła. Znaczna część zadań przetwarza tak małe wolumeny, że narzut Sparka przewyższa samą pracę — jako proces jednowęzłowy działałyby szybciej.

Środowisko

Apache Spark na Kubernetes, EMR, Dataproc lub Databricks, z zadaniami orkiestrowanymi przez Airflow lub natywny scheduler.

Podejście

AceMQ zbiera logi zdarzeń i historię schedulera z całego środowiska, aby zbudować profile czasu wykonania, przydziału zasobów i wykorzystania dla każdego zadania. Przydzielone zasoby są porównywane ze szczytowym zaobserwowanym zużyciem w celu wykrycia nadmiarowej alokacji, a lineage wyników jest śledzone, aby znaleźć potoki, których odbiorcy już nie istnieją. Każde ustalenie zawiera konkretną rekomendowaną czynność, a nie ogólną obserwację.

Rozwiązanie

  1. Inwentaryzacja zadań w całym środowisku z czasem wykonania, przydzielonymi zasobami, szczytowym wykorzystaniem i kosztem pojedynczego uruchomienia
  2. Analiza nadmiarowej alokacji porównująca żądaną pamięć i rdzenie executorów ze zmierzonym szczytowym zużyciem
  3. Wykrywanie zduplikowanych i niemal zduplikowanych potoków na podstawie lineage źródeł i wyników
  4. Identyfikacja zadań o małym wolumenie, w których narzut Sparka przewyższa samą pracę, a silnik jednowęzłowy jest szybszy i tańszy
  5. Wykrywanie osieroconych potoków, których wyników nie czytają już żadni odbiorcy
  6. Uszeregowany backlog działań naprawczych według zaoszczędzonych kosztów w relacji do wymaganego nakładu pracy inżynierskiej

Efekt

Klienci otrzymują konkretny, uporządkowany backlog zamiast ogólnego raportu o efektywności. W większości środowisk jest na tyle dużo nadmiarowo przydzielonej i osieroconej pracy, że wydatki na moc obliczeniową można znacząco obniżyć, zanim jakiekolwiek zadanie zostanie przepisane.

Technologie

Apache SparkDatabricksDelta LakeKubernetes

Czas na przegląd Health Check Apache Spark?

Starsi inżynierowie Apache Spark w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.