Visão geral
Um provedor de análise de dados para varejo carregava dados continuamente via Snowpipe em tabelas de staging e depois usava streams e tasks para transformá-los nas etapas seguintes. As falhas nessa cadeia apareciam como dados ausentes em relatórios dias depois, e não como alertas. A AceMQ assumiu o suporte com engenheiros sêniores designados e escalonamento direto.
Desafio
Os modos de falha eram silenciosos, não ruidosos. Streams que ficam obsoletos após a janela de retenção de dados simplesmente deixam de retornar dados de alteração. Cadeias de tasks param quando uma task predecessora falha e deixam as tabelas seguintes sem atualização, sem sinalizar nada. Os erros de carga de arquivos do Snowpipe se acumulam no histórico de cargas, onde ninguém olha. Nada disso gerava um alerta.
Ambiente
Snowflake na AWS com ingestão via Snowpipe a partir de object storage, alimentando cadeias de transformação com streams e tasks.
Abordagem
A AceMQ primeiro tornou visíveis os modos de falha silenciosos, porque os incidentes recorrentes eram, no fundo, um problema de detecção, e não de engenharia. Em seguida, a retenção e o desenho das tasks foram corrigidos para que essas condições ocorressem com menos frequência, com escalonamento para os casos que ainda exigem análise especializada.
Solução
- Monitoramento da obsolescência dos streams em relação às janelas de retenção de dados, com alertas antes do ponto de expiração
- Monitoramento da execução das cadeias de tasks, para que uma predecessora interrompida gere um alerta em vez de parar em silêncio
- Erros do histórico de cargas do Snowpipe e condições de carga parcial encaminhados para o canal de alertas já existente
- Revisão e correção das configurações de retenção de dados nas tabelas que alimentam streams de intervalo longo
- Reestruturação das dependências entre tasks para limitar o raio de impacto quando uma única task falha
- Escalonamento 24/7 para engenheiros sêniores de Snowflake com metas de resposta a partir de 15 minutos, conforme o plano
Resultado obtido
As falhas de ingestão agora aparecem em minutos, em vez de serem descobertas em relatórios dias depois. Os incidentes com streams obsoletos acabaram depois que a retenção foi alinhada aos intervalos das tasks e os alertas passaram a disparar antes da expiração.