Descripción general
Cuando un workflow de Databricks falla a las 3 de la madrugada y los informes posteriores dependen de él, la respuesta útil es un ingeniero capaz de leer un log del driver y la Spark UI, no una cola de tickets. AceMQ ofrece ingenieros sénior asignados con objetivos de respuesta desde 15 minutos, según el plan; 24/7, sin un nivel 1 que haya que sortear.
Reto
Los fallos de jobs en producción en Databricks rara vez tienen una sola causa. Un OOM del driver puede venir de un collect() sobre un conjunto de datos que ha crecido; una cascada de fallos de tareas puede deberse a la recuperación de instancias spot durante un shuffle; un error de importación repentino puede ser una biblioteca instalada a nivel de clúster que oculta una versión incluida en el DBR tras una actualización del runtime. A continuación, las políticas de reintentos de los workflows multiplican el coste del fallo al volver a ejecutar etapas costosas contra la misma condición rota.
Entorno
Databricks en AWS, Azure o GCP, con Workflows, Delta Live Tables o jobs orquestados externamente.
Enfoque
Los ingenieros de AceMQ trabajan con los logs del driver y de los executors, la línea temporal de eventos de la Spark UI y el historial de eventos del clúster para separar el evento desencadenante de la fragilidad de fondo. Lo primero es la estabilización inmediata, que el pipeline supere la ejecución de esa noche, y después llegan un informe de causa raíz y el cambio de configuración o de código que evita que se repita.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Análisis de OOM del driver y de los executors, incluidos los patrones de collect, broadcast y accumulators que llevan datos al driver
- Diagnóstico de la recuperación de instancias spot y de la pérdida de nodos, con recomendaciones de driver bajo demanda y workers en flota mixta
- Resolución de conflictos de versiones de bibliotecas y de DBR entre instalaciones a nivel de clúster, de notebook y mediante init scripts
- Revisión de los reintentos y las dependencias entre tareas de los workflows para cortar las tormentas de reintentos ante fallos no transitorios
- Informe posterior al incidente con el cambio concreto de configuración o de código que evita su repetición
Resultado final
Los clientes resuelven los incidentes de Databricks en producción en horas y no a lo largo de varios días laborables, y los fallos repetidos disminuyen porque las fragilidades de fondo se corrigen en lugar de reintentarse.