Przegląd
Zanim kierownictwo przeznaczy budżet na migrację z Hadoop, potrzebuje opartej na danych odpowiedzi na pytania: co jest na klastrze, co nadal ma znaczenie i ile potrwa wyjście. AceMQ przygotowuje taką inwentaryzację oraz plan z ustaloną kolejnością i szacunkami nakładu pracy.
Wyzwanie
Rzeczywisty stan klastra nie jest udokumentowany. Nikt nie potrafi powiedzieć, które z kilku tysięcy tabel Hive są nadal odczytywane, które kolejki YARN obsługują pracę produkcyjną, a które porzucone eksperymenty, ani które zadania zasilają raportowanie regulacyjne i dlatego nie mogą zostać przerwane. Szacunki podawane bez tych informacji to zgadywanie, a programy migracyjne zbudowane na zgadywaniu się przeciągają.
Środowisko
Lokalne klastry Hadoop z HDFS, Hive i YARN oraz mieszanymi obciążeniami Spark, MapReduce i Hive w ramach dystrybucji komercyjnej lub społecznościowej.
Podejście
AceMQ analizuje własne logi audytowe i logi zapytań klastra przez reprezentatywny okres, zamiast polegać na wywiadach. Każda tabela otrzymuje znacznik czasu ostatniego odczytu i listę odbiorców; każde zadanie — profil czasu wykonania, zasobów i krytyczności. Koszt eksploatacji jest modelowany z uwzględnieniem sprzętu, wsparcia, zasilania i czasu pracy zespołu pochłanianego przez utrzymanie klastra, a następnie porównywany z platformą docelową.
Rozwiązanie
- Profilowanie dostępu na poziomie tabel na podstawie logów audytowych HDFS i HiveServer2, dające każdemu zbiorowi danych datę ostatniego odczytu i listę odbiorców
- Inwentaryzacja zadań we wszystkich kolejkach YARN z czasem wykonania, zużyciem zasobów i klasyfikacją krytyczności biznesowej
- Model kosztów stanu obecnego obejmujący odnowienie sprzętu, wsparcie dystrybucji, zasilanie i szafy rack oraz czas pracy zespołu operacyjnego
- Przegląd wersji i ekspozycji na CVE w całym stosie komponentów dystrybucji
- Kolejność fal migracji ustalona według głębokości zależności i ryzyka biznesowego, z szacunkami nakładu pracy dla każdej fali
- Rekomendacja wycofania lub migracji dla każdego zbioru danych i zadania, z oznaczeniem uśpionych danych do archiwizacji zamiast migracji
Efekt
Klienci otrzymują uzasadniony biznesowo przypadek migracji poparty zmierzonymi danymi o dostępie zamiast szacunków oraz plan fal, dla którego można zaplanować zasoby. Samo ustalenie dotyczące uśpionych danych zwykle usuwa znaczną część zakładanego zakresu migracji.