Présentation
Un prestataire logistique exploitait ELK sur des sites cloud et on-premise sans responsable dédié de la plateforme. Les problèmes d'ingestion se manifestaient généralement par des données manquantes dans les dashboards plusieurs jours plus tard. AceMQ assure un support continu sur toute la chaîne d'ingestion.
Défi
Les défaillances étaient réparties entre plusieurs couches et personne n'était responsable de la chaîne complète. Des conflits de mapping rejetaient silencieusement des documents lorsque deux services utilisaient le même nom de champ avec des types différents : les données n'arrivaient tout simplement jamais, et aucune alerte n'existait sur les rejets. Les index templates divergeaient d'un environnement à l'autre, si bien qu'un pipeline validé en préproduction se comportait différemment en production. Les agents Beats des hôtes les plus anciens tournaient sur des versions sorties de la plage de compatibilité supportée avec le cluster.
Environnement
Déploiement ELK hybride avec des agents Beats sur des sites cloud et on-premise, et plusieurs équipes contribuant à la configuration des pipelines.
Approche
Le support couvre le pipeline de bout en bout, parce que c'est là que se situent les défaillances. Nous alertons sur les rejets de documents pour rendre visible la perte silencieuse de données, gardons les index templates et les définitions de pipelines sous contrôle de version avec une parité entre environnements, et gérons la compatibilité des versions de Beats comme une activité planifiée plutôt que comme une urgence.
Solution
- Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés couvrant toute la chaîne d'ingestion
- Alertes sur les rejets de documents et les conflits de mapping, pour que les données perdues silencieusement apparaissent immédiatement
- Index templates et component templates standardisés, avec une convention de nommage des champs qui évite les conflits de types
- Définitions de pipelines et de templates gardées sous contrôle de version, avec une parité imposée entre préproduction et production
- Inventaire des versions des agents Beats et cadence de mise à niveau planifiée pour maintenir le parc dans la plage supportée
- Revue des modifications de pipelines avant leur passage en production, avec un rollback défini pour chaque changement
Résultat obtenu
Les rejets silencieux de documents sont désormais détectés en quelques minutes au lieu d'apparaître comme des données manquantes dans les dashboards plusieurs jours plus tard. La dérive entre préproduction et production a pratiquement cessé depuis que les templates sont sous contrôle de version.