Zurück zu allen Kundenbeispielen

BeratungBranchenübergreifend

Verlassen Sie Hadoop geplant, bevor die Hardware-Erneuerung die Entscheidung erzwingt

Landesweit tätiger Versicherer

Umzug von einem alternden Hadoop-Cluster auf Object Storage und offene Tabellenformate – mit Hive-, MapReduce- und Oozie-Workloads, die übersetzt statt nur verschoben werden.

Überblick

Die meisten Hadoop-Cluster, die heute noch laufen, leben auf geliehene Zeit – der Distributionsanbieter hat gewechselt, die Hardware steht zur Erneuerung an, und die betriebliche Expertise wandert seit Jahren ab. AceMQ plant und realisiert die Migration auf Object Storage mit offenen Tabellenformaten und übersetzt die Workloads, statt sie in eine Form zu verschieben, die erneut migriert werden muss.

Herausforderung

Eine zehn Jahre alte Hadoop-Landschaft umfasst Tausende Hive-Tabellen, MapReduce-Jobs, deren Autoren längst gegangen sind, Oozie-Coordinators, die niemand vollständig versteht, und eine Kerberos-gestützte Autorisierung in Ranger-Policies, die sich nicht sauber auf Cloud-IAM abbilden lassen. Nichts kann abgeschaltet werden, bevor seine Consumer gefunden sind – und die Liste der Consumer ist nirgends dokumentiert. Auslöser ist meist ein End-of-Life-Datum der Hardware, das weniger Zeit lässt, als die Arbeit erfordert.

Umgebung

On-Premises-Hadoop-Distributionen mit HDFS, Hive, YARN, MapReduce, Oozie und Ranger, Migration auf Cloud-Object-Storage mit Delta Lake oder Iceberg.

Vorgehen

AceMQ beginnt mit einer Abhängigkeitsanalyse aus den Query-Logs von HiveServer2, den HDFS-Audit-Logs und der Scheduler-Historie, um festzustellen, was tatsächlich von wem gelesen wird – typischerweise nur ein Bruchteil des Vorhandenen. Die Workloads migrieren in Wellen nach Fachdomäne mit Validierung im Parallelbetrieb, MapReduce- und Hive-Abfragen werden in Spark SQL übersetzt statt emuliert, und Ranger-Policies werden als Berechtigungen auf Katalogebene neu aufgebaut. Die Stilllegung wird pro Domäne geplant, sobald die Consumer die Umstellung bestätigt haben.

Lösung

  1. Abhängigkeitsanalyse aus Query-Logs von HiveServer2, HDFS-Audit-Logs und Oozie-Historie, um aktive von ruhenden Datensätzen zu unterscheiden
  2. Wahl des Tabellenformats und Neugestaltung der Partitionierung für Object Storage als Ersatz für HDFS-Layouts, die von lokalen Platten ausgehen
  3. Übersetzung von MapReduce- und Hive-Workloads in Spark SQL, wobei alte UDFs portiert oder ersetzt statt gekapselt werden
  4. Umwandlung von Oozie-Coordinators in Airflow-DAGs unter Erhalt der Abhängigkeitssemantik
  5. Autorisierung aus Ranger und Kerberos als Berechtigungen auf Katalogebene neu aufgebaut, abgebildet auf bestehende Identitätsgruppen
  6. Cutover in Wellen mit Abgleich im Parallelbetrieb und einem Stilllegungsplan pro Domäne

Resultat

Kunden lösen sich nach einem geplanten Zeitplan statt unter Erneuerungsdruck von Hadoop-Hardware und Supportverpflichtung und landen auf einer Plattform, auf der Storage und Compute unabhängig voneinander skalieren. Die Abhängigkeitsanalyse zeigt regelmäßig, dass ein großer Teil der gespeicherten Daten keinen aktiven Consumer hat und nie umziehen muss.

Technologien

Apache HadoopApache SparkDelta LakeApache Airflow

Brauchen Sie Architekturberatung für Apache Hadoop?

Die Senior Engineers von AceMQ für Apache Hadoop haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.