Descripción general
Databricks factura por DBU, y el mismo notebook que cuesta unos pocos dólares en un job cluster puede costar varias veces más en un clúster all-purpose interactivo que se queda encendido todo el día. AceMQ audita el uso real de los clústeres frente a las cargas de trabajo que se ejecutan en ellos y elabora un plan de corrección con costes estimados.
Reto
Los equipos que empezaron en notebooks tienden a mantener el ETL de producción en clústeres all-purpose compartidos porque resulta cómodo. Los mínimos de autoescalado se fijan altos para evitar arranques en frío, los timeouts de inactividad se desactivan para que nadie pierda su sesión y las cluster policies o no existen o son demasiado permisivas para imponer nada. El resultado es una factura que crece más deprisa que el volumen de datos y sin una atribución clara a un equipo o a un pipeline.
Entorno
Databricks en AWS, Azure o GCP, con cargas de trabajo que abarcan notebooks, jobs programados y pipelines de Delta Live Tables.
Enfoque
AceMQ extrae las system tables y los logs de eventos de los clústeres para construir un perfil de DBU por carga de trabajo, separando la exploración interactiva del trabajo de producción programado. Cada carga costosa se analiza para determinar si el coste se debe a la selección de cómputo, al tiempo de ejecución o a la organización de los datos. Después definimos cluster policies y una configuración de instance pools que conviertan la opción barata en la opción por defecto, en lugar de depender de la disciplina de los equipos.
Solución
- Atribución de DBU por carga de trabajo, equipo y tipo de clúster a partir de las system tables y los logs de eventos de los clústeres
- Migración de los pipelines programados de clústeres all-purpose a job clusters con ciclo de vida efímero
- Revisión del mínimo de autoescalado, del timeout de inactividad y de la familia de instancias, incluida la idoneidad de Photon y de instancias spot para cada carga
- Cluster policies que limitan los tipos de nodo, el número de workers y las versiones de DBR por workspace y por equipo
- Diseño de instance pools para reducir el coste de los arranques en frío sin mantener capacidad en caliente durante la noche
- Modelo de etiquetado y de chargeback para que el gasto de la plataforma se asigne al equipo que lo generó
Resultado final
Los clientes obtienen una lista priorizada de las cargas de trabajo que concentran la mayor parte del gasto en DBU y un conjunto de políticas que evita que el trabajo nuevo repita el mismo patrón. La mayoría de los proyectos detectan suficiente cómputo ocioso o sobredimensionado como para reducir de forma significativa el gasto en la plataforma sin cambiar la lógica de un solo pipeline.