Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Wyjście z Hadoop w zaplanowany sposób, zanim wymiana sprzętu wymusi decyzję

Krajowy ubezpieczyciel

Przejście ze starzejącego się klastra Hadoop na magazyn obiektowy i otwarte formaty tabel, z obciążeniami Hive, MapReduce i Oozie przełożonymi na nowe technologie, a nie przeniesionymi bez zmian.

Przegląd

Większość działających dziś klastrów Hadoop żyje na kredyt — dostawca dystrybucji się zmienił, sprzęt czeka na wymianę, a wiedza operacyjna od lat odpływa z firm. AceMQ planuje i przeprowadza migrację do magazynu obiektowego z otwartymi formatami tabel, przekładając obciążenia, zamiast przenosić je w formie, która wkrótce znów będzie wymagała migracji.

Wyzwanie

Dziesięcioletnie środowisko Hadoop obejmuje tysiące tabel Hive, zadania MapReduce, których autorzy dawno odeszli, koordynatory Oozie, których nikt w pełni nie rozumie, oraz autoryzację opartą na Kerberos, zapisaną w politykach Ranger, które nie przekładają się wprost na IAM w chmurze. Niczego nie można wyłączyć, dopóki nie zostaną znalezieni jego odbiorcy, a lista odbiorców nie jest nigdzie spisana. Czynnikiem wymuszającym zmianę jest zwykle data końca wsparcia sprzętu, która zostawia mniej czasu, niż wymaga ta praca.

Środowisko

Dystrybucje Hadoop on-premises z HDFS, Hive, YARN, MapReduce, Oozie i Ranger, migrowane do magazynu obiektowego w chmurze z Delta Lake lub Iceberg.

Podejście

AceMQ zaczyna od wykrycia zależności na podstawie logów zapytań HiveServer2, logów audytowych HDFS i historii harmonogramu, aby ustalić, co jest faktycznie odczytywane i przez kogo — zwykle to ułamek tego, co istnieje. Obciążenia migrują według domen, falami, z weryfikacją w trybie równoległym, zapytania MapReduce i Hive są przekładane na Spark SQL, a nie emulowane, a polityki Ranger są odbudowywane jako uprawnienia w katalogu. Wyłączanie jest planowane dla każdej domeny, gdy odbiorcy potwierdzą przełączenie.

Rozwiązanie

  1. Wykrywanie zależności na podstawie logów zapytań HiveServer2, logów audytowych HDFS i historii Oozie w celu odróżnienia aktywnych zbiorów danych od nieużywanych
  2. Dobór formatu tabel i przeprojektowanie partycji pod magazyn obiektowy w miejsce układów z ery HDFS zakładających dysk lokalny
  3. Przełożenie obciążeń MapReduce i Hive na Spark SQL, z dotychczasowymi UDF przeniesionymi lub zastąpionymi, a nie opakowanymi
  4. Konwersja koordynatorów Oozie na DAG-i Airflow z zachowaniem semantyki zależności
  5. Odbudowa autoryzacji Ranger i Kerberos jako uprawnień na poziomie katalogu, powiązanych z istniejącymi grupami tożsamości
  6. Przełączanie falami z uzgadnianiem wyników w trybie równoległym i harmonogramem wyłączania dla każdej domeny

Efekt

Klienci rezygnują ze sprzętu Hadoop i związanych z nim zobowiązań wsparcia zgodnie z planem, a nie pod presją wymiany sprzętu, i trafiają na platformę, na której pamięć masowa i moc obliczeniowa skalują się niezależnie. Wykrywanie zależności regularnie pokazuje, że duża część przechowywanych danych nie ma żadnego aktywnego odbiorcy i nigdy nie musi być przenoszona.

Technologie

Apache HadoopApache SparkDelta LakeApache Airflow

Potrzebują Państwo doradztwa w zakresie architektury Apache Hadoop?

Starsi inżynierowie Apache Hadoop w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.