Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Ramener l'ingestion temps réel dans son budget de latence

Plateforme d'échange publicitaire

Résolution du retard des superviseurs Kafka dû à l'épuisement des slots de tâches, à des tâches d'ingestion surdimensionnées et à des échecs de handoff vers le deep storage.

Présentation

Une plateforme d'échange publicitaire s'appuyait sur Druid pour l'analyse quasi temps réel des enchères. Le retard des superviseurs Kafka passait de quelques secondes à plusieurs heures aux pics de trafic, si bien que les tableaux de bord sur lesquels comptaient les traders affichaient des données périmées précisément au moment où elles comptaient. AceMQ est intervenu dans le cadre du SLA d'urgence.

Défi

Le retard avait plusieurs causes qui se cumulaient. Les slots de tâches des Middle Managers étaient épuisés, car les tâches d'ingestion duraient longtemps et monopolisaient des slots dont les tâches en attente avaient besoin. Les segments produits par ces tâches étaient surdimensionnés, ce qui ralentissait le handoff vers le deep storage et le chargement sur les historicals. Les tâches en échec étaient relancées dans le même pool de slots saturé.

Environnement

Apache Druid sur Kubernetes ingérant depuis Kafka des flux d'enchères et d'impressions pour l'analytique temps réel.

Approche

AceMQ a suivi le pipeline d'ingestion de bout en bout (superviseur, affectation des tâches, publication des segments, handoff et chargement sur les historicals) pour trouver où le temps s'accumulait réellement, au lieu de régler le superviseur isolément. La capacité et la forme des tâches ont été corrigées ensemble, car corriger l'une sans l'autre ne fait que déplacer la file d'attente.

Solution

  1. Suivi de l'ensemble du chemin d'ingestion, du superviseur jusqu'au handoff et au chargement sur les historicals, pour localiser le véritable retard
  2. Rééquilibrage de la capacité des workers Middle Manager et de l'allocation des slots de tâches en fonction de la demande réelle de tâches simultanées
  3. Ajustement de la durée des tâches et de la granularité des segments pour que les tâches libèrent leurs slots à un rythme prévisible
  4. Correction du dimensionnement des segments pour que le handoff et le chargement sur les historicals se terminent dans la fenêtre d'ingestion
  5. Séparation de la capacité dédiée à l'ingestion en streaming de celle des tâches batch et de compaction, pour qu'elles cessent de se concurrencer
  6. Instrumentation du retard des superviseurs, de l'utilisation des slots de tâches et de la durée du handoff comme signaux distincts pouvant déclencher des alertes

Résultat obtenu

Le retard d'ingestion est revenu à quelques secondes et s'y est maintenu pendant les pics de trafic. Les tableaux de bord de trading reflètent désormais des données à jour pendant les périodes où ils sont réellement utilisés.

Technologies

Apache DruidKafkaKubernetesPrometheus

Confronté à un incident de production Apache Druid ?

Les ingénieurs Apache Druid seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.