Présentation
Une plateforme d'échange publicitaire s'appuyait sur Druid pour l'analyse quasi temps réel des enchères. Le retard des superviseurs Kafka passait de quelques secondes à plusieurs heures aux pics de trafic, si bien que les tableaux de bord sur lesquels comptaient les traders affichaient des données périmées précisément au moment où elles comptaient. AceMQ est intervenu dans le cadre du SLA d'urgence.
Défi
Le retard avait plusieurs causes qui se cumulaient. Les slots de tâches des Middle Managers étaient épuisés, car les tâches d'ingestion duraient longtemps et monopolisaient des slots dont les tâches en attente avaient besoin. Les segments produits par ces tâches étaient surdimensionnés, ce qui ralentissait le handoff vers le deep storage et le chargement sur les historicals. Les tâches en échec étaient relancées dans le même pool de slots saturé.
Environnement
Apache Druid sur Kubernetes ingérant depuis Kafka des flux d'enchères et d'impressions pour l'analytique temps réel.
Approche
AceMQ a suivi le pipeline d'ingestion de bout en bout (superviseur, affectation des tâches, publication des segments, handoff et chargement sur les historicals) pour trouver où le temps s'accumulait réellement, au lieu de régler le superviseur isolément. La capacité et la forme des tâches ont été corrigées ensemble, car corriger l'une sans l'autre ne fait que déplacer la file d'attente.
Solution
- Suivi de l'ensemble du chemin d'ingestion, du superviseur jusqu'au handoff et au chargement sur les historicals, pour localiser le véritable retard
- Rééquilibrage de la capacité des workers Middle Manager et de l'allocation des slots de tâches en fonction de la demande réelle de tâches simultanées
- Ajustement de la durée des tâches et de la granularité des segments pour que les tâches libèrent leurs slots à un rythme prévisible
- Correction du dimensionnement des segments pour que le handoff et le chargement sur les historicals se terminent dans la fenêtre d'ingestion
- Séparation de la capacité dédiée à l'ingestion en streaming de celle des tâches batch et de compaction, pour qu'elles cessent de se concurrencer
- Instrumentation du retard des superviseurs, de l'utilisation des slots de tâches et de la durée du handoff comme signaux distincts pouvant déclencher des alertes
Résultat obtenu
Le retard d'ingestion est revenu à quelques secondes et s'y est maintenu pendant les pics de trafic. Les tableaux de bord de trading reflètent désormais des données à jour pendant les périodes où ils sont réellement utilisés.