Überblick
Die Entscheidung, Pentaho abzulösen, macht den nächtlichen Load nicht optional. Die meisten Unternehmen brauchen für die achtzehn bis sechsunddreißig Monate, die eine Migration realistisch dauert, jemanden, der Kettle-Probleme auch um 3 Uhr nachts noch beheben kann.
Herausforderung
Der nächtliche Load war unzuverlässig geworden: Transformationen scheiterten an Speicherdruck, als die Eingangsvolumen wuchsen; Jobs meldeten Erfolg, während ein teilweise fehlgeschlagener Schritt die Zieltabelle halb befüllt zurückließ; und das Verhalten des JDBC-Treibers hatte sich nach einem Datenbank-Upgrade geändert. Ausfälle zeigten sich am nächsten Morgen als Beschwerden aus dem Fachbereich statt nachts als Alerts.
Umgebung
Pentaho Data Integration auf On-Premises-Linux-Servern, SQL Server und PostgreSQL als Quellen und Ziele, nächtliches Batch-Fenster für das operative Reporting.
Vorgehen
AceMQ stellt namentlich zugeordnete Senior Engineers mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und 24/7-Abdeckung bereit – ohne Tier-1-Triage-Queue zwischen dem Kunden und jemandem, der die Transformation tatsächlich lesen kann. Wir behoben die wiederkehrenden Ausfälle an der Ursache, statt Jobs neu zu starten, und bauten die Fehlerbehandlung so um, dass Teil-Loads sauber scheitern.
Lösung
- JVM-Heap und Row-Set-Größe je Schritt für Transformationen korrigiert, die bei gewachsenen Eingangsvolumen scheiterten
- Stilles Teil-Load-Verhalten durch explizite Fehlerbehandlung und Transaktionsgrenzen ersetzt
- Einstellungen für Connection Pool und JDBC-Treiber korrigiert, die nach einem Upgrade der Datenbankplattform instabil geworden waren
- Alerting auf Job- und Schrittebene ergänzt, damit nächtliche Ausfälle die Rufbereitschaft alarmieren, statt bis zum Morgen zu warten
- Runbook für die Fehlermuster erstellt, die bis zum Abschluss der Migration am wahrscheinlichsten wiederkehren
Resultat
Die wiederkehrenden nächtlichen Ausfälle hörten auf, und halb befüllte Zieltabellen gibt es nicht mehr, weil Teilfehler den Load jetzt abbrechen. Die Landschaft ist stabil genug, dass die Migration planmäßig statt unter Notfalldruck vorankommen kann.