Überblick
Bei der geclusterten Ausführung in Pentaho wird Arbeit auf Carte-Slave-Server verlagert. Wenn diese Slaves degradieren, zeigt sich das als Transformation, die einfach nie fertig wird. Der Master meldet sie als dauerhaft laufend, und dem Betrieb bleibt als einziger Hebel ein Neustart.
Herausforderung
Geclusterte Transformationen blieben mehrmals pro Woche hängen. Die JVMs der Carte-Slaves wuchsen im Lauf des Tages stetig an und gaben Speicher nie wieder frei, verwaiste Transformations-Sessions sammelten sich in der Registry der Slaves, und ein Neustart des Masters räumte sie nicht auf. Das Batch-Fenster begann, in die Produktionsschicht hineinzulaufen.
Umgebung
Pentaho Data Integration mit einem Carte-Master und mehreren Slave-Servern auf On-Premises-Linux-Hosts, das ein Reporting-Warehouse für die Fertigung speist.
Vorgehen
AceMQ erstellte Heap- und Thread-Dumps eines hängenden Slaves, statt ihn neu zu starten. So ließ sich feststellen, wo sich Rows stauten und welcher Step blockierte. Wir korrigierten die Row-Set-Größen, die unbegrenztes Puffern verursachten, ergänzten ein Lifecycle-Handling, das abgeschlossene Transformationen aus der Registry der Slaves entfernt, und containerisierten die Slaves, sodass eine degradierte Instanz ersetzt statt aufgepäppelt wird.
Lösung
- Heap- und Thread-Dumps hängender Carte-Slaves erstellt, um den blockierenden Step und das Pufferverhalten zu ermitteln
- Row-Set-Größen und Partitionierung korrigiert, damit geclusterte Steps nicht mehr unbegrenzt puffern
- Bereinigung abgeschlossener und verwaister Transformations-Sessions aus der Registry der Slaves ergänzt
- Carte-Slaves mit Health Checks containerisiert, damit degradierte Instanzen automatisch ersetzt werden
- Speicher der Slave-JVMs und Anzahl aktiver Transformationen mit Alarmschwellen instrumentiert
Resultat
Die wöchentlichen Hänger haben aufgehört, und das Batch-Fenster liegt wieder innerhalb der vorgesehenen Zeit. Neustarts der Slaves sind zu einem seltenen, automatisierten Vorgang geworden statt einer manuellen Aufgabe in der Nacht.