Torna a tutti i casi d'uso

AssessmentServizi finanziari / Pagamenti

Scoprire dove finiscono davvero i DBU, poi smettere di pagare compute inattivo

Processore globale di pagamenti

Dimensionamento corretto del compute Databricks spostando i carichi pianificati fuori dai cluster all-purpose e rendendo più rigorosi autoscaling, scelta delle istanze e timeout di inattività.

Panoramica

Databricks fattura in DBU, e lo stesso notebook che costa pochi dollari su un job cluster può costare diverse volte tanto su un cluster all-purpose interattivo lasciato acceso tutto il giorno. AceMQ analizza l'uso effettivo dei cluster rispetto ai carichi che vi girano e produce un piano di intervento con i relativi costi.

Sfida

I team che hanno iniziato dai notebook tendono a lasciare l'ETL di produzione su cluster all-purpose condivisi perché è comodo. I minimi di autoscaling vengono impostati alti per evitare i cold start, i timeout di inattività vengono disattivati perché nessuno perda la propria sessione e le cluster policy sono assenti o troppo permissive per imporre qualcosa. Il risultato è una fattura che cresce più in fretta del volume di dati, senza un'attribuzione chiara a un team o a una pipeline.

Ambiente

Databricks su AWS, Azure o GCP, con carichi che spaziano da notebook e job pianificati a pipeline Delta Live Tables.

Approccio

AceMQ estrae le system table e i log degli eventi dei cluster per costruire un profilo DBU per singolo carico, separando l'esplorazione interattiva dal lavoro di produzione pianificato. Per ogni carico costoso si verifica se il costo dipenda dalla scelta del compute, dal runtime o dal layout dei dati. Definiamo poi cluster policy e configurazioni degli instance pool che rendono la strada più economica quella predefinita, invece di affidarsi alla disciplina dei team.

Soluzione

  1. Attribuzione dei DBU per carico, team e tipo di cluster a partire dalle system table e dai log degli eventi dei cluster
  2. Migrazione delle pipeline pianificate dai cluster all-purpose a job cluster con ciclo di vita effimero
  3. Revisione di soglia minima di autoscaling, timeout di inattività e famiglie di istanze, compresa l'idoneità a Photon e alle istanze spot per ciascun carico
  4. Cluster policy che vincolano tipi di nodo, numero di worker e versioni DBR per workspace e team
  5. Progettazione degli instance pool per ridurre il costo dei cold start senza mantenere capacità calda durante la notte
  6. Modello di tagging e chargeback, così che la spesa di piattaforma sia ricondotta al team che l'ha generata

Esito

I clienti ottengono una classifica dei carichi che generano la maggior parte della spesa in DBU e un insieme di policy che impedisce ai nuovi carichi di ripetere lo stesso schema. Nella maggior parte degli interventi emerge abbastanza compute inattivo o sovradimensionato da ridurre in modo significativo la spesa di piattaforma senza modificare la logica di una sola pipeline.

Tecnologie

DatabricksApache SparkDelta LakeTerraform

Pronti per un health check di Databricks?

Gli ingegneri Databricks senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.