Volver a todos los casos de uso

EvaluaciónServicios financieros / Pagos

Descubra adónde van realmente los DBU y deje de pagar por cómputo inactivo

Procesador global de pagos

Dimensionamiento correcto del cómputo de Databricks: traslado del trabajo programado fuera de los clústeres all-purpose y ajuste del autoescalado, la selección de instancias y los timeouts de inactividad.

Descripción general

Databricks factura por DBU, y el mismo notebook que cuesta unos pocos dólares en un job cluster puede costar varias veces más en un clúster all-purpose interactivo que queda encendido todo el día. AceMQ audita el uso real de los clústeres frente a las cargas de trabajo que corren en ellos y elabora un plan de remediación con costos estimados.

Desafío

Los equipos que empezaron en notebooks suelen mantener el ETL de producción en clústeres all-purpose compartidos porque es cómodo. Los mínimos de autoescalado se fijan altos para evitar arranques en frío, los timeouts de inactividad se desactivan para que nadie pierda su sesión, y las cluster policies no existen o son demasiado permisivas para imponer algo. El resultado es una factura que crece más rápido que el volumen de datos, sin una atribución clara a un equipo o un pipeline.

Entorno

Databricks en AWS, Azure o GCP, con cargas de trabajo que abarcan notebooks, jobs programados y pipelines de Delta Live Tables.

Enfoque

AceMQ extrae las system tables y los logs de eventos de los clústeres para construir un perfil de DBU por carga de trabajo, separando la exploración interactiva del trabajo de producción programado. Cada carga costosa se analiza para determinar si el costo se debe a la selección de cómputo, al runtime o a la organización de los datos. Luego definimos cluster policies y configuraciones de instance pools que conviertan el camino económico en el camino predeterminado, en lugar de depender de la disciplina de los equipos.

Solución

  1. Atribución de DBU por carga de trabajo, equipo y tipo de clúster a partir de las system tables y los logs de eventos de los clústeres
  2. Migración de los pipelines programados de clústeres all-purpose a job clusters con ciclos de vida efímeros
  3. Revisión del piso de autoescalado, el timeout de inactividad y la familia de instancias, incluida la idoneidad de Photon y de instancias spot para cada carga de trabajo
  4. Cluster policies que restringen los tipos de nodo, la cantidad de workers y las versiones de DBR por workspace y por equipo
  5. Diseño de instance pools para reducir el costo de los arranques en frío sin mantener capacidad precalentada durante la noche
  6. Modelo de etiquetado y chargeback para que el gasto de la plataforma se asigne al equipo que lo generó

Resultado final

Los clientes obtienen una lista priorizada de las cargas de trabajo que concentran la mayor parte del gasto en DBU y un conjunto de políticas que evita que el trabajo nuevo repita el mismo patrón. La mayoría de los proyectos identifican suficiente cómputo inactivo o sobredimensionado como para reducir de forma significativa el gasto de la plataforma sin cambiar la lógica de un solo pipeline.

Tecnologías

DatabricksApache SparkDelta LakeTerraform

¿Listo para un health check de Databricks?

Los ingenieros sénior de Databricks de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.