Überblick
Bevor die Geschäftsleitung Budget für eine Hadoop-Migration freigibt, braucht sie eine belegbare Antwort darauf, was auf dem Cluster liegt, was davon noch zählt und wie lange der Ausstieg dauern wird. AceMQ erstellt dieses Inventar und einen geordneten Plan mit Aufwandsschätzungen.
Herausforderung
Der tatsächliche Zustand des Clusters ist nicht dokumentiert. Niemand kann sagen, welche der mehreren Tausend Hive-Tabellen noch gelesen werden, welche YARN-Queues produktive Arbeit tragen und welche verwaiste Experimente sind oder welche Jobs ins regulatorische Reporting einfließen und deshalb nicht unterbrochen werden dürfen. Schätzungen ohne diese Informationen sind Vermutungen – und Migrationsprogramme, die auf Vermutungen beruhen, dauern länger.
Umgebung
On-Premises-Hadoop-Cluster mit HDFS, Hive, YARN und gemischten Workloads aus Spark, MapReduce und Hive unter einer kommerziellen oder Community-Distribution.
Vorgehen
AceMQ wertet über einen repräsentativen Zeitraum die Audit- und Abfragelogs des Clusters selbst aus, statt sich auf Interviews zu verlassen. Jede Tabelle erhält einen Zeitstempel des letzten Lesezugriffs und eine Liste ihrer Konsumenten; jeder Job ein Profil aus Laufzeit, Ressourcenbedarf und Kritikalität. Die Betriebskosten werden einschließlich Hardware, Support, Strom und der vom Cluster-Betrieb gebundenen Personalzeit modelliert und der Zielplattform gegenübergestellt.
Lösung
- Zugriffsprofile auf Tabellenebene aus HDFS-Audit- und HiveServer2-Logs, die jedem Datensatz ein Datum des letzten Lesezugriffs und eine Konsumentenliste zuordnen
- Job-Inventar über alle YARN-Queues mit Laufzeit, Ressourcenbedarf und Einstufung der geschäftlichen Kritikalität
- Kostenmodell für den Ist-Zustand mit Hardware-Erneuerung, Support für die Distribution, Strom und Rack-Fläche sowie Personalzeit im Betrieb
- Prüfung von Versionsstand und CVE-Exposition über den gesamten Komponenten-Stack der Distribution
- Reihenfolge der Migrationswellen nach Abhängigkeitstiefe und Geschäftsrisiko, mit Aufwandsschätzung je Welle
- Empfehlung zu Stilllegung oder Migration für jeden Datensatz und jeden Job; ruhende Daten werden zur Archivierung statt zur Migration markiert
Resultat
Kunden erhalten einen belastbaren Business Case für die Migration, gestützt auf gemessene Zugriffsdaten statt auf Schätzungen, und einen Wellenplan, für den sich Ressourcen einplanen lassen. Allein der Befund zu ruhenden Daten verkleinert den angenommenen Migrationsumfang meist erheblich.