Présentation
Les search heads Splunk d'un groupe de services financiers étaient saturés : les recherches planifiées étaient régulièrement sautées, et les analystes qui menaient des investigations voyaient leurs recherches attendre derrière des jobs de reporting. AceMQ assure un support continu pour optimiser la charge de recherche.
Défi
Des centaines de recherches planifiées avaient été créées au fil des années, la plupart exécutées toutes les cinq minutes sur une fenêtre de vingt-quatre heures, qu'il y ait besoin ou non. Les limites de concurrence étaient atteintes en permanence, si bien que l'ordonnanceur sautait des recherches, dont plusieurs alimentaient le reporting de conformité. Cela passait inaperçu, car par défaut une recherche sautée ne déclenche aucune alerte. Bon nombre des recherches les plus lourdes parcouraient les événements bruts là où une accélération de data model ou un summary index aurait été plus adapté.
Environnement
Cluster de search heads Splunk on-premise au service des équipes d'opérations de sécurité, de reporting de conformité et d'analytique métier.
Approche
Le support consiste ici en une optimisation continue plutôt qu'en une correction ponctuelle, car la charge de recherche repousse toujours. Nous suivons le taux de recherches sautées et le coût des recherches par propriétaire, réécrivons les recherches coûteuses, étalons la planification pour que tout ne se déclenche pas sur la même échéance, et réservons de la concurrence pour qu'un analyste qui enquête sur un incident ne se retrouve jamais en file d'attente derrière un rapport.
Solution
- Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et ingénieurs seniors attitrés qui connaissent le parc de recherches et leurs propriétaires
- Alertes sur les recherches sautées, pour que les trous dans le reporting de conformité apparaissent immédiatement au lieu de passer inaperçus
- Profilage du coût des recherches par propriétaire et par app, avec un classement selon la consommation de ressources plutôt que selon le volume de plaintes
- Recherches lourdes sur les événements bruts réécrites sur des data models accélérés ou des summary indexes lorsque la forme de la requête le permet
- Fenêtres de planification et décalage des expressions cron appliqués pour que les recherches cessent de se concentrer sur la même échéance
- Règles de workload management réservant de la concurrence aux investigations ad hoc, séparément du reporting planifié
Résultat obtenu
Le taux de recherches sautées est devenu négligeable et le trou dans le reporting de conformité a été comblé. Les analystes qui mènent des investigations voient désormais leurs recherches planifiées immédiatement au lieu d'attendre derrière des jobs de reporting.