Retour à tous les cas d'usage

AuditServices financiers / paiements

Savoir où partent réellement les DBU, puis cesser de payer du compute inactif

Processeur de paiements international

Redimensionner le compute Databricks en sortant les traitements planifiés des clusters all-purpose et en resserrant l'autoscaling, le choix des instances et les délais d'inactivité.

Présentation

Databricks facture en DBU, et le même notebook qui coûte quelques dollars sur un job cluster peut coûter plusieurs fois plus sur un cluster all-purpose interactif laissé allumé toute la journée. AceMQ audite l'utilisation réelle des clusters au regard des charges qui y tournent et produit un plan de remédiation chiffré.

Défi

Les équipes qui ont démarré dans des notebooks ont tendance à garder l'ETL de production sur des clusters all-purpose partagés, par commodité. Les minimums d'autoscaling sont fixés haut pour éviter les démarrages à froid, les délais d'inactivité sont désactivés pour que personne ne perde sa session, et les cluster policies sont soit absentes, soit trop permissives pour imposer quoi que ce soit. Résultat : une facture qui augmente plus vite que le volume de données, sans attribution claire à une équipe ou à un pipeline.

Environnement

Databricks sur AWS, Azure ou GCP, avec des charges allant des notebooks aux jobs planifiés en passant par les pipelines Delta Live Tables.

Approche

AceMQ exploite les system tables et les logs d'événements des clusters pour établir un profil de consommation DBU par charge de travail, en séparant l'exploration interactive des traitements de production planifiés. Pour chaque charge coûteuse, nous déterminons si le coût vient du choix du compute, du runtime ou de l'organisation des données. Nous définissons ensuite des cluster policies et une configuration d'instance pools qui font du chemin le moins cher le chemin par défaut, au lieu de compter sur la discipline des équipes.

Solution

  1. Attribution des DBU par charge de travail, par équipe et par type de cluster à partir des system tables et des logs d'événements des clusters
  2. Migration des pipelines planifiés des clusters all-purpose vers des job clusters à cycle de vie éphémère
  3. Revue des planchers d'autoscaling, des délais d'inactivité et des familles d'instances, y compris la pertinence de Photon et des instances spot pour chaque charge
  4. Cluster policies qui encadrent les types de nœuds, le nombre de workers et les versions de DBR par workspace et par équipe
  5. Conception d'instance pools pour réduire le coût des démarrages à froid sans garder de capacité préchauffée la nuit
  6. Modèle de tagging et de refacturation interne pour que les dépenses de la plateforme soient rattachées à l'équipe qui les a générées

Résultat obtenu

Les clients obtiennent une liste classée des charges qui concentrent l'essentiel des dépenses DBU, ainsi qu'un ensemble de policies qui empêche les nouveaux traitements de reproduire le même schéma. La plupart des missions mettent au jour suffisamment de compute inactif ou surdimensionné pour réduire nettement les dépenses de la plateforme sans modifier la logique d'un seul pipeline.

Technologies

DatabricksApache SparkDelta LakeTerraform

Prêt pour un bilan de santé Databricks ?

Les ingénieurs Databricks seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.