Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Des ingénieurs seniors attitrés d'astreinte quand le heap passe au rouge

Éditeur SaaS d'observabilité

Support continu 24/7 d'un parc Elasticsearch victime de déclenchements répétés du parent circuit breaker et de longues pauses de garbage collection sous la charge des agrégations.

Présentation

Un éditeur d'analytique multi-tenant perdait régulièrement des nœuds à cause de longues pauses stop-the-world de garbage collection pendant l'actualisation des tableaux de bord de ses clients. AceMQ assure un support continu avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés qui connaissent déjà la topologie du cluster.

Défi

Les exceptions du parent circuit breaker se traduisaient par des recherches en échec pour le tenant qui interrogeait le cluster à ce moment-là, ce qui donnait au problème une apparence aléatoire. Des terms aggregations profondes sur des champs à forte cardinalité et des buckets de date histogram non bornés chargeaient de grandes quantités de field data dans le heap, et une poignée de requêtes surdimensionnées pouvait pousser un nœud au-delà du breaker et déclencher une pause de GC assez longue pour que le master l'exclue du cluster.

Environnement

Elasticsearch sur Kubernetes réparti sur trois zones de disponibilité, charge de requêtes mixte entre tenants, tableaux de bord actualisés à intervalles courts.

Approche

Les missions de support commencent par l'analyse des hot threads et des logs de GC pendant un incident en cours, et non par un résumé post-mortem. Nous corrélons les déclenchements du breaker avec le slow log pour identifier les formes de requêtes précises en cause, puis nous travaillons avec les ingénieurs du client pour les borner au niveau de la couche API, au lieu de simplement relever les limites du breaker.

Solution

  1. Réponse aux incidents 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, sans couche de tri de niveau 1 entre le client et un ingénieur senior
  2. Analyse des hot threads, des logs de GC et des statistiques des nœuds capturés pendant les déclenchements du breaker, plutôt que reconstitués après coup
  3. Réglage du slow log de recherche pour faire ressortir les formes d'agrégation qui font réellement croître le heap
  4. Recommandations pour borner la taille des terms aggregations, ajouter des limites search.max_buckets et utiliser des composite aggregations pour la pagination profonde
  5. Revue du dimensionnement du field data et du query cache au regard de la charge réelle plutôt que des valeurs par défaut
  6. Validation avec le client, pendant les fenêtres de maintenance, des procédures de redémarrage progressif et de remplacement de nœuds

Résultat obtenu

Les échecs de recherche liés au breaker ne représentent plus qu'une petite fraction de leur niveau antérieur, et le cluster ne perd plus de nœuds aux heures de pointe des tableaux de bord. Les ingénieurs du client repèrent désormais eux-mêmes la plupart des requêtes problématiques en revue, car ils savent à quoi ressemble la signature de la défaillance.

Technologies

ElasticsearchKibanaKubernetesJava

Besoin d'un support Elasticsearch expert ?

Les ingénieurs Elasticsearch seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.