Visão geral
Quando um workflow do Databricks falha às 3 da manhã e os relatórios downstream dependem dele, a resposta útil é um engenheiro que saiba ler um log do driver e a Spark UI, e não uma fila de tickets. A AceMQ oferece engenheiros sêniores designados, com metas de resposta a partir de 15 minutos, conforme o plano; 24/7, sem nenhuma camada de nível 1 para contornar.
Desafio
As falhas de jobs em produção no Databricks raramente têm uma única causa. Um OOM no driver pode vir de um collect() sobre um dataset que cresceu; uma cascata de falhas de tasks pode ser a recuperação de instâncias spot durante um shuffle; um erro de import repentino pode ser uma biblioteca instalada no escopo do cluster sobrepondo uma versão empacotada no DBR após um upgrade de runtime. Em seguida, as políticas de retry dos workflows multiplicam o custo da falha ao reexecutar etapas caras contra a mesma condição quebrada.
Ambiente
Databricks na AWS, no Azure ou no GCP, executando Workflows, Delta Live Tables ou jobs orquestrados externamente.
Abordagem
Os engenheiros da AceMQ trabalham com os logs do driver e dos executors, a linha do tempo de eventos da Spark UI e o histórico de eventos do cluster para separar o evento que disparou a falha da fragilidade subjacente. A estabilização imediata vem primeiro (fazer o pipeline passar na execução desta noite), seguida de um relatório de causa raiz e da mudança de configuração ou de código que evita a repetição.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
- Análise de OOM no driver e nos executors, incluindo padrões de collect, broadcast e accumulators que trazem dados para o driver
- Diagnóstico de recuperação de instâncias spot e perda de nós, com recomendações de driver on-demand e workers em frota mista
- Resolução de conflitos de bibliotecas e de versões do DBR entre instalações no escopo do cluster, do notebook e via init scripts
- Revisão dos retries dos workflows e das dependências entre tasks para acabar com as tempestades de retries em falhas não transitórias
- Relatório pós-incidente com a mudança específica de configuração ou de código que evita a recorrência
Resultado obtido
Os clientes resolvem incidentes de produção no Databricks em horas, e não ao longo de vários dias úteis, e as falhas repetidas diminuem à medida que as fragilidades subjacentes são corrigidas em vez de reexecutadas.