Descripción general
Databricks factura por DBU, y el mismo notebook que cuesta unos pocos dólares en un job cluster puede costar varias veces más en un clúster all-purpose interactivo que queda encendido todo el día. AceMQ audita el uso real de los clústeres frente a las cargas de trabajo que corren en ellos y elabora un plan de remediación con costos estimados.
Desafío
Los equipos que empezaron en notebooks suelen mantener el ETL de producción en clústeres all-purpose compartidos porque es cómodo. Los mínimos de autoescalado se fijan altos para evitar arranques en frío, los timeouts de inactividad se desactivan para que nadie pierda su sesión, y las cluster policies no existen o son demasiado permisivas para imponer algo. El resultado es una factura que crece más rápido que el volumen de datos, sin una atribución clara a un equipo o un pipeline.
Entorno
Databricks en AWS, Azure o GCP, con cargas de trabajo que abarcan notebooks, jobs programados y pipelines de Delta Live Tables.
Enfoque
AceMQ extrae las system tables y los logs de eventos de los clústeres para construir un perfil de DBU por carga de trabajo, separando la exploración interactiva del trabajo de producción programado. Cada carga costosa se analiza para determinar si el costo se debe a la selección de cómputo, al runtime o a la organización de los datos. Luego definimos cluster policies y configuraciones de instance pools que conviertan el camino económico en el camino predeterminado, en lugar de depender de la disciplina de los equipos.
Solución
- Atribución de DBU por carga de trabajo, equipo y tipo de clúster a partir de las system tables y los logs de eventos de los clústeres
- Migración de los pipelines programados de clústeres all-purpose a job clusters con ciclos de vida efímeros
- Revisión del piso de autoescalado, el timeout de inactividad y la familia de instancias, incluida la idoneidad de Photon y de instancias spot para cada carga de trabajo
- Cluster policies que restringen los tipos de nodo, la cantidad de workers y las versiones de DBR por workspace y por equipo
- Diseño de instance pools para reducir el costo de los arranques en frío sin mantener capacidad precalentada durante la noche
- Modelo de etiquetado y chargeback para que el gasto de la plataforma se asigne al equipo que lo generó
Resultado final
Los clientes obtienen una lista priorizada de las cargas de trabajo que concentran la mayor parte del gasto en DBU y un conjunto de políticas que evita que el trabajo nuevo repita el mismo patrón. La mayoría de los proyectos identifican suficiente cómputo inactivo o sobredimensionado como para reducir de forma significativa el gasto de la plataforma sin cambiar la lógica de un solo pipeline.