Retour à tous les cas d'usage

RemédiationÉnergie / services publics

Remonter la contre-pression, des lignes de log manquantes jusqu'au pattern grok qui la provoque

Opérateur de services énergétiques

Correction d'un pipeline ELK dans lequel la contre-pression (back-pressure) de Logstash bloquait les agents Beats et laissait des trous dans les logs de tout le parc.

Présentation

Un énergéticien constatait des trous intermittents dans les logs de son parc, sans cause évidente. Ces trous remontaient, via Logstash, à un petit nombre de patterns de filtre qui consommaient l'essentiel du CPU disponible.

Défi

Plusieurs patterns grok avaient été écrits avec des jokers en tête et des groupes optionnels imbriqués, ce qui provoquait un backtracking catastrophique sur les lignes de log qui n'avaient pas la forme attendue. Une seule ligne mal formée pouvait occuper un thread worker pendant très longtemps. Les workers étant monopolisés, la file persistante se remplissait, Logstash exerçait une contre-pression sur les entrées Beats et les agents cessaient d'expédier. Quand la file finissait par se vider, les agents reprenaient à partir de leur registre, mais les fichiers ayant subi une rotation entre-temps avaient disparu.

Environnement

Pile ELK sur site avec des agents Filebeat sur un vaste parc de serveurs et un étage Logstash chargé du parsing et de l'enrichissement.

Approche

Nous avons profilé le pipeline de filtres pour savoir où le temps était réellement passé, plutôt que d'optimiser à vue. Une fois les patterns pathologiques identifiés, nous les avons réécrits avec des expressions ancrées, et avec dissect lorsque le format était fixe, puis nous avons rendu le pipeline résilient pour qu'une ligne défectueuse dégrade un seul événement au lieu de bloquer tout le parc.

Solution

  1. Profilage du pipeline filtre par filtre pour identifier les patterns précis consommant un temps CPU disproportionné
  2. Patterns grok à backtracking catastrophique réécrits avec ancrage, et remplacés par dissect lorsque le format des logs est fixe
  3. Configuration des timeouts et du tag-on-failure pour qu'une ligne impossible à parser soit étiquetée et transmise, sans jamais bloquer un worker
  4. Taille de la file persistante et nombre de workers réglés sur le débit mesuré plutôt que sur les valeurs par défaut
  5. Ajustement du registre Beats et des paramètres de rotation des fichiers, pour qu'un blocage dû à la contre-pression ne fasse pas perdre de fichiers ayant subi une rotation
  6. Ajout d'un monitoring de la profondeur de file et de la durée des filtres, pour rendre visible une contre-pression naissante avant l'apparition de trous

Résultat obtenu

Les trous dans les logs ont totalement disparu et, une fois les patterns pathologiques supprimés, le débit du pipeline a été multiplié plusieurs fois sur le même matériel. Les alertes sur la profondeur de file signalent désormais la pression bien avant que les agents ne se bloquent.

Technologies

ELK StackLogstashElasticsearchFilebeat

Confronté à un incident de production ELK Stack ?

Les ingénieurs ELK Stack seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.