Visão geral
Um fornecedor de analítica para o retalho carregava dados continuamente através do Snowpipe para tabelas de staging e usava depois streams e tasks para os transformar a jusante. As falhas nesta cadeia surgiam como dados em falta nos relatórios dias depois, e não como alertas. A AceMQ assumiu o suporte com engenheiros seniores designados e escalamento direto.
Desafio
Os modos de falha eram silenciosos, e não ruidosos. Os streams que ficam desatualizados para lá da sua janela de retenção de dados deixam, sem aviso, de devolver dados de alterações. As cadeias de tasks param quando uma task anterior falha e deixam as tabelas a jusante por atualizar sem emitir qualquer sinal. Os erros de carregamento de ficheiros do Snowpipe acumulam-se no histórico de carregamentos, onde ninguém olha. Nenhum destes casos gerava um alerta.
Ambiente
Snowflake na AWS com ingestão via Snowpipe a partir de armazenamento de objetos, a alimentar cadeias de transformação com streams e tasks.
Abordagem
A AceMQ começou por tornar visíveis os modos de falha silenciosos, porque os incidentes recorrentes eram, no fundo, um problema de deteção e não de engenharia. A retenção e o desenho das tasks foram depois corrigidos para que estas situações ocorram com menos frequência, com escalamento para os casos que continuam a exigir avaliação humana.
Solução
- Instrumentação da desatualização dos streams face às janelas de retenção de dados, com alertas antes do ponto de expiração
- Monitorização da execução das cadeias de tasks para que uma task anterior parada gere um alerta em vez de parar em silêncio
- Encaminhamento dos erros do histórico de carregamentos do Snowpipe e das cargas parciais para o canal de alertas existente
- Revisão e correção das definições de retenção de dados nas tabelas que alimentam streams com intervalos longos
- Reestruturação das dependências entre tasks para limitar o raio de impacto quando uma única task falha
- Escalamento 24/7 para engenheiros seniores de Snowflake com objetivos de resposta a partir de 15 minutos, consoante o plano
Resultado final
As falhas de ingestão surgem agora em minutos, em vez de serem descobertas nos relatórios dias depois. Os incidentes de streams desatualizados pararam depois de a retenção ter sido alinhada com os intervalos das tasks e de os alertas passarem a disparar antes da expiração.