Retour à tous les cas d'usage

SupportMultisectoriel

Garder un parc Pentaho historique fiable pendant que vous préparez son remplacement

Entreprise de logistique et de distribution

Support continu d'un parc Pentaho Data Integration qui doit continuer à fonctionner de manière fiable pendant la préparation de son remplacement à plus long terme.

Présentation

Décider de quitter Pentaho ne rend pas le chargement nocturne facultatif. La plupart des organisations ont besoin de quelqu'un capable de corriger encore des problèmes Kettle à 3 h du matin pendant les dix-huit à trente-six mois que prend, de façon réaliste, une migration.

Défi

Le chargement nocturne n'était plus fiable : des transformations échouaient sous la pression mémoire lorsque les volumes en entrée augmentaient, des jobs signalaient un succès alors qu'une étape partiellement en échec laissait la table cible à moitié chargée, et le comportement du pilote JDBC avait changé après une mise à niveau de la base de données. Les échecs remontaient le lendemain matin sous forme de plaintes des métiers plutôt que sous forme d'alertes pendant la nuit.

Environnement

Pentaho Data Integration sur des serveurs Linux sur site, sources et cibles SQL Server et PostgreSQL, fenêtre batch nocturne alimentant le reporting opérationnel.

Approche

AceMQ met à disposition des ingénieurs seniors attitrés, avec des objectifs de réponse à partir de 15 minutes, selon le plan, et une couverture 24/7, sans file de tri de niveau 1 entre le client et une personne réellement capable de lire la transformation. Nous avons traité les échecs récurrents à la source plutôt que de relancer les jobs, et refondu la gestion des erreurs pour que les chargements partiels échouent proprement.

Solution

  1. Correction du heap JVM et du dimensionnement des row sets par étape pour les transformations qui échouaient face à des volumes en entrée accrus
  2. Remplacement des chargements partiels silencieux par une gestion explicite des erreurs et des frontières transactionnelles
  3. Correction des paramètres du pool de connexions et du pilote JDBC déstabilisés par une mise à niveau de la plateforme de base de données
  4. Ajout d'alertes au niveau des jobs et des étapes pour que les échecs nocturnes déclenchent une astreinte au lieu d'attendre le matin
  5. Rédaction d'un runbook couvrant les schémas de défaillance les plus susceptibles de se reproduire avant la fin de la migration

Résultat obtenu

Les échecs nocturnes récurrents ont cessé, et les tables cibles à moitié chargées ont disparu, puisqu'un échec partiel interrompt désormais le chargement. Le parc est suffisamment stable pour que la migration se déroule selon le plan prévu, et non dans l'urgence.

Technologies

PentahoSQL ServerPostgreSQLDocker

Besoin d'un support Pentaho expert ?

Les ingénieurs Pentaho seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.