Zurück zu allen Kundenbeispielen

FehlerbehebungIndustrie / Fertigung

Hängende Carte-Slaves, Speicherlecks und Transformationen, die nie zurückkommen

Hersteller von Industrieprodukten

Behebung instabiler Carte-Slave-Server, auf denen lang laufende Cluster-Transformationen hängen blieben, Speicher verloren und verwaiste Carte-Sessions zurückließen.

Überblick

Bei der geclusterten Ausführung in Pentaho wird Arbeit auf Carte-Slave-Server verlagert. Wenn diese Slaves degradieren, zeigt sich das als Transformation, die einfach nie fertig wird. Der Master meldet sie als dauerhaft laufend, und dem Betrieb bleibt als einziger Hebel ein Neustart.

Herausforderung

Geclusterte Transformationen blieben mehrmals pro Woche hängen. Die JVMs der Carte-Slaves wuchsen im Lauf des Tages stetig an und gaben Speicher nie wieder frei, verwaiste Transformations-Sessions sammelten sich in der Registry der Slaves, und ein Neustart des Masters räumte sie nicht auf. Das Batch-Fenster begann, in die Produktionsschicht hineinzulaufen.

Umgebung

Pentaho Data Integration mit einem Carte-Master und mehreren Slave-Servern auf On-Premises-Linux-Hosts, das ein Reporting-Warehouse für die Fertigung speist.

Vorgehen

AceMQ erstellte Heap- und Thread-Dumps eines hängenden Slaves, statt ihn neu zu starten. So ließ sich feststellen, wo sich Rows stauten und welcher Step blockierte. Wir korrigierten die Row-Set-Größen, die unbegrenztes Puffern verursachten, ergänzten ein Lifecycle-Handling, das abgeschlossene Transformationen aus der Registry der Slaves entfernt, und containerisierten die Slaves, sodass eine degradierte Instanz ersetzt statt aufgepäppelt wird.

Lösung

  1. Heap- und Thread-Dumps hängender Carte-Slaves erstellt, um den blockierenden Step und das Pufferverhalten zu ermitteln
  2. Row-Set-Größen und Partitionierung korrigiert, damit geclusterte Steps nicht mehr unbegrenzt puffern
  3. Bereinigung abgeschlossener und verwaister Transformations-Sessions aus der Registry der Slaves ergänzt
  4. Carte-Slaves mit Health Checks containerisiert, damit degradierte Instanzen automatisch ersetzt werden
  5. Speicher der Slave-JVMs und Anzahl aktiver Transformationen mit Alarmschwellen instrumentiert

Resultat

Die wöchentlichen Hänger haben aufgehört, und das Batch-Fenster liegt wieder innerhalb der vorgesehenen Zeit. Neustarts der Slaves sind zu einem seltenen, automatisierten Vorgang geworden statt einer manuellen Aufgabe in der Nacht.

Technologien

PentahoPostgreSQLDockerKubernetes

Haben Sie ein Produktionsproblem mit Pentaho?

Die Senior Engineers von AceMQ für Pentaho haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.