Retour à tous les cas d'usage

RemédiationIndustrie / production

Esclaves Carte bloqués, fuites mémoire et transformations qui ne se terminent jamais

Fabricant de produits industriels

Résolution de l'instabilité des serveurs esclaves Carte : des transformations en cluster de longue durée se bloquaient, provoquaient des fuites mémoire et laissaient des sessions Carte orphelines.

Présentation

L'exécution en cluster de Pentaho déporte le travail sur des serveurs esclaves Carte, et lorsque ces esclaves se dégradent, le symptôme est une transformation qui ne se termine tout simplement jamais. Le maître la signale comme en cours d'exécution indéfiniment, et le seul levier de l'opérateur est un redémarrage.

Défi

Les transformations en cluster ont commencé à se bloquer plusieurs fois par semaine. Les JVM des esclaves Carte grossissaient régulièrement au fil de la journée sans que la mémoire soit jamais récupérée, les sessions de transformation orphelines s'accumulaient dans le registre de l'esclave, et redémarrer le maître ne les supprimait pas. La fenêtre batch a commencé à déborder sur le poste de production.

Environnement

Pentaho Data Integration avec un maître Carte et plusieurs serveurs esclaves sur des hôtes Linux on-premise, alimentant un entrepôt de reporting industriel.

Approche

AceMQ a capturé des heap dumps et des thread dumps sur un esclave bloqué au lieu de le redémarrer, ce qui a permis d'identifier où les lignes s'accumulaient et quelle étape bloquait. Nous avons corrigé le dimensionnement des row sets à l'origine d'une mise en mémoire tampon non bornée, ajouté une gestion du cycle de vie pour que les transformations terminées soient supprimées du registre de l'esclave, et conteneurisé les esclaves afin qu'une instance dégradée soit remplacée plutôt que maintenue à bout de bras.

Solution

  1. Capture de heap dumps et de thread dumps sur les esclaves Carte bloqués pour identifier l'étape bloquante et le comportement de mise en mémoire tampon
  2. Correction de la taille des row sets et du partitionnement pour que les étapes en cluster cessent de bufferiser sans limite
  3. Ajout du nettoyage des sessions de transformation terminées et orphelines dans le registre de l'esclave
  4. Conteneurisation des esclaves Carte avec des health checks pour que les instances dégradées soient remplacées automatiquement
  5. Instrumentation de la mémoire des JVM esclaves et du nombre de transformations actives, avec des seuils d'alerte

Résultat obtenu

Les blocages hebdomadaires ont cessé et la fenêtre batch est revenue dans le temps imparti. Les redémarrages d'esclaves sont devenus un événement rare et automatisé plutôt qu'une tâche manuelle de nuit.

Technologies

PentahoPostgreSQLDockerKubernetes

Confronté à un incident de production Pentaho ?

Les ingénieurs Pentaho seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.