Powrót do wszystkich studiów przypadków

Ocena środowiskaEnergetyka / media

Inwentaryzacja i harmonogram, których potrzeba przed decyzją o wyjściu z Hadoop

Regionalny operator usług komunalnych

Ustalenie, co faktycznie działa na klastrze Hadoop, ile kosztuje jego utrzymanie oraz jak wygląda uzasadniona kolejność i harmonogram migracji.

Przegląd

Zanim kierownictwo przeznaczy budżet na migrację z Hadoop, potrzebuje opartej na danych odpowiedzi na pytania: co jest na klastrze, co nadal ma znaczenie i ile potrwa wyjście. AceMQ przygotowuje taką inwentaryzację oraz plan z ustaloną kolejnością i szacunkami nakładu pracy.

Wyzwanie

Rzeczywisty stan klastra nie jest udokumentowany. Nikt nie potrafi powiedzieć, które z kilku tysięcy tabel Hive są nadal odczytywane, które kolejki YARN obsługują pracę produkcyjną, a które porzucone eksperymenty, ani które zadania zasilają raportowanie regulacyjne i dlatego nie mogą zostać przerwane. Szacunki podawane bez tych informacji to zgadywanie, a programy migracyjne zbudowane na zgadywaniu się przeciągają.

Środowisko

Lokalne klastry Hadoop z HDFS, Hive i YARN oraz mieszanymi obciążeniami Spark, MapReduce i Hive w ramach dystrybucji komercyjnej lub społecznościowej.

Podejście

AceMQ analizuje własne logi audytowe i logi zapytań klastra przez reprezentatywny okres, zamiast polegać na wywiadach. Każda tabela otrzymuje znacznik czasu ostatniego odczytu i listę odbiorców; każde zadanie — profil czasu wykonania, zasobów i krytyczności. Koszt eksploatacji jest modelowany z uwzględnieniem sprzętu, wsparcia, zasilania i czasu pracy zespołu pochłanianego przez utrzymanie klastra, a następnie porównywany z platformą docelową.

Rozwiązanie

  1. Profilowanie dostępu na poziomie tabel na podstawie logów audytowych HDFS i HiveServer2, dające każdemu zbiorowi danych datę ostatniego odczytu i listę odbiorców
  2. Inwentaryzacja zadań we wszystkich kolejkach YARN z czasem wykonania, zużyciem zasobów i klasyfikacją krytyczności biznesowej
  3. Model kosztów stanu obecnego obejmujący odnowienie sprzętu, wsparcie dystrybucji, zasilanie i szafy rack oraz czas pracy zespołu operacyjnego
  4. Przegląd wersji i ekspozycji na CVE w całym stosie komponentów dystrybucji
  5. Kolejność fal migracji ustalona według głębokości zależności i ryzyka biznesowego, z szacunkami nakładu pracy dla każdej fali
  6. Rekomendacja wycofania lub migracji dla każdego zbioru danych i zadania, z oznaczeniem uśpionych danych do archiwizacji zamiast migracji

Efekt

Klienci otrzymują uzasadniony biznesowo przypadek migracji poparty zmierzonymi danymi o dostępie zamiast szacunków oraz plan fal, dla którego można zaplanować zasoby. Samo ustalenie dotyczące uśpionych danych zwykle usuwa znaczną część zakładanego zakresu migracji.

Technologie

Apache HadoopApache HiveApache SparkYARN

Czas na przegląd Health Check Apache Hadoop?

Starsi inżynierowie Apache Hadoop w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.