Überblick
Die meisten Hadoop-Cluster, die heute noch laufen, leben auf geliehene Zeit – der Distributionsanbieter hat gewechselt, die Hardware steht zur Erneuerung an, und die betriebliche Expertise wandert seit Jahren ab. AceMQ plant und realisiert die Migration auf Object Storage mit offenen Tabellenformaten und übersetzt die Workloads, statt sie in eine Form zu verschieben, die erneut migriert werden muss.
Herausforderung
Eine zehn Jahre alte Hadoop-Landschaft umfasst Tausende Hive-Tabellen, MapReduce-Jobs, deren Autoren längst gegangen sind, Oozie-Coordinators, die niemand vollständig versteht, und eine Kerberos-gestützte Autorisierung in Ranger-Policies, die sich nicht sauber auf Cloud-IAM abbilden lassen. Nichts kann abgeschaltet werden, bevor seine Consumer gefunden sind – und die Liste der Consumer ist nirgends dokumentiert. Auslöser ist meist ein End-of-Life-Datum der Hardware, das weniger Zeit lässt, als die Arbeit erfordert.
Umgebung
On-Premises-Hadoop-Distributionen mit HDFS, Hive, YARN, MapReduce, Oozie und Ranger, Migration auf Cloud-Object-Storage mit Delta Lake oder Iceberg.
Vorgehen
AceMQ beginnt mit einer Abhängigkeitsanalyse aus den Query-Logs von HiveServer2, den HDFS-Audit-Logs und der Scheduler-Historie, um festzustellen, was tatsächlich von wem gelesen wird – typischerweise nur ein Bruchteil des Vorhandenen. Die Workloads migrieren in Wellen nach Fachdomäne mit Validierung im Parallelbetrieb, MapReduce- und Hive-Abfragen werden in Spark SQL übersetzt statt emuliert, und Ranger-Policies werden als Berechtigungen auf Katalogebene neu aufgebaut. Die Stilllegung wird pro Domäne geplant, sobald die Consumer die Umstellung bestätigt haben.
Lösung
- Abhängigkeitsanalyse aus Query-Logs von HiveServer2, HDFS-Audit-Logs und Oozie-Historie, um aktive von ruhenden Datensätzen zu unterscheiden
- Wahl des Tabellenformats und Neugestaltung der Partitionierung für Object Storage als Ersatz für HDFS-Layouts, die von lokalen Platten ausgehen
- Übersetzung von MapReduce- und Hive-Workloads in Spark SQL, wobei alte UDFs portiert oder ersetzt statt gekapselt werden
- Umwandlung von Oozie-Coordinators in Airflow-DAGs unter Erhalt der Abhängigkeitssemantik
- Autorisierung aus Ranger und Kerberos als Berechtigungen auf Katalogebene neu aufgebaut, abgebildet auf bestehende Identitätsgruppen
- Cutover in Wellen mit Abgleich im Parallelbetrieb und einem Stilllegungsplan pro Domäne
Resultat
Kunden lösen sich nach einem geplanten Zeitplan statt unter Erneuerungsdruck von Hadoop-Hardware und Supportverpflichtung und landen auf einer Plattform, auf der Storage und Compute unabhängig voneinander skalieren. Die Abhängigkeitsanalyse zeigt regelmäßig, dass ein großer Teil der gespeicherten Daten keinen aktiven Consumer hat und nie umziehen muss.