Retour à tous les cas d'usage

ConseilLogiciels / plateformes numériques

Une architecture d'ingestion où un blocage en aval est un retard, pas une perte de données

Plateforme de commerce numérique

Mission de conseil pour refondre une architecture d'ingestion ELK autour de files d'attente tampons, de pipelines d'ingest node et d'une standardisation des schémas.

Présentation

L'ingestion ELK d'une plateforme de commerce était fragile : le moindre ralentissement d'Elasticsearch se répercutait jusqu'aux applications qui produisaient les logs. AceMQ a conçu une architecture avec tampon qui découple les producteurs du cluster de recherche.

Défi

Les Beats envoyaient directement vers une couche Logstash qui écrivait de façon synchrone dans Elasticsearch : tout ralentissement de l'indexation se transformait en back-pressure jusqu'aux producteurs de logs. Pendant la maintenance du cluster, il fallait soit accepter de perdre des données, soit bloquer les applications. De plus, chaque équipe avait son propre nommage des champs : corréler une requête entre services supposait de connaître trois noms différents pour le même identifiant, et la logique de parsing censée tous les gérer vivait dans une seule configuration Logstash de moins en moins maintenable.

Environnement

ELK sur Kubernetes ingérant les logs de dizaines de services, avec une croissance à la fois du volume de logs et du nombre d'équipes contributrices.

Approche

Nous avons introduit un tampon durable entre la production et l'indexation, pour que les deux puissent tomber en panne indépendamment l'une de l'autre, déplacé le parsing simple vers les ingest pipelines d'Elasticsearch, où il a sa place, et adopté un schéma commun qui fait largement disparaître la logique de parsing propre à chaque service. La conception a été échelonnée pour que les équipes migrent progressivement plutôt qu'au cours d'une bascule unique.

Solution

  1. Introduction d'une file d'attente de messages durable entre les shippers et la couche d'indexation, pour que la maintenance du cluster entraîne un retard et non une perte
  2. Déplacement du parsing et de l'enrichissement simples vers les ingest pipelines d'Elasticsearch, Logstash n'étant conservé que là où ses capacités sont nécessaires
  3. Adoption d'un schéma commun pour les champs partagés, pour que la corrélation entre services ne nécessite plus de connaître le nommage de chaque équipe
  4. Découpage des définitions de pipelines par service en unités dotées d'un responsable et déployables indépendamment, au lieu d'une configuration monolithique
  5. Définition d'une gestion des dead letters, pour que les événements impossibles à parser soient capturés pour analyse plutôt que perdus ou bloquants
  6. Plan de migration échelonné permettant aux équipes de basculer service par service, avec un fonctionnement en double chemin pendant la transition

Résultat obtenu

La maintenance d'Elasticsearch n'affecte plus les producteurs de logs : le tampon absorbe la fenêtre de maintenance puis se vide ensuite. Ajouter un nouveau service au pipeline n'implique plus de modifier une configuration partagée : c'est désormais un déploiement indépendant, porté par l'équipe responsable.

Technologies

ELK StackLogstashKafkaElasticsearchKubernetes

Besoin de conseils en architecture ELK Stack ?

Les ingénieurs ELK Stack seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.