Volver a todos los casos de uso

SoporteMultisectorial

Soporte de Databricks 24/7 con objetivos de respuesta desde 15 minutos, según el plan, y sin triaje de nivel 1

Grupo de servicios de seguros

Soporte con ingenieros asignados para los fallos de jobs de Databricks en producción: OOM del driver, recuperación de instancias spot, conflictos de bibliotecas y tormentas de reintentos en los workflows.

Descripción general

Cuando un workflow de Databricks falla a las 3 de la madrugada y los informes posteriores dependen de él, la respuesta útil es un ingeniero capaz de leer un log del driver y la Spark UI, no una cola de tickets. AceMQ ofrece ingenieros sénior asignados con objetivos de respuesta desde 15 minutos, según el plan; 24/7, sin un nivel 1 que haya que sortear.

Reto

Los fallos de jobs en producción en Databricks rara vez tienen una sola causa. Un OOM del driver puede venir de un collect() sobre un conjunto de datos que ha crecido; una cascada de fallos de tareas puede deberse a la recuperación de instancias spot durante un shuffle; un error de importación repentino puede ser una biblioteca instalada a nivel de clúster que oculta una versión incluida en el DBR tras una actualización del runtime. A continuación, las políticas de reintentos de los workflows multiplican el coste del fallo al volver a ejecutar etapas costosas contra la misma condición rota.

Entorno

Databricks en AWS, Azure o GCP, con Workflows, Delta Live Tables o jobs orquestados externamente.

Enfoque

Los ingenieros de AceMQ trabajan con los logs del driver y de los executors, la línea temporal de eventos de la Spark UI y el historial de eventos del clúster para separar el evento desencadenante de la fragilidad de fondo. Lo primero es la estabilización inmediata, que el pipeline supere la ejecución de esa noche, y después llegan un informe de causa raíz y el cambio de configuración o de código que evita que se repita.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Análisis de OOM del driver y de los executors, incluidos los patrones de collect, broadcast y accumulators que llevan datos al driver
  3. Diagnóstico de la recuperación de instancias spot y de la pérdida de nodos, con recomendaciones de driver bajo demanda y workers en flota mixta
  4. Resolución de conflictos de versiones de bibliotecas y de DBR entre instalaciones a nivel de clúster, de notebook y mediante init scripts
  5. Revisión de los reintentos y las dependencias entre tareas de los workflows para cortar las tormentas de reintentos ante fallos no transitorios
  6. Informe posterior al incidente con el cambio concreto de configuración o de código que evita su repetición

Resultado final

Los clientes resuelven los incidentes de Databricks en producción en horas y no a lo largo de varios días laborables, y los fallos repetidos disminuyen porque las fragilidades de fondo se corrigen en lugar de reintentarse.

Tecnologías

DatabricksApache SparkDelta Lake

¿Necesita soporte experto de Databricks?

Los ingenieros sénior de Databricks de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.