Voltar para todos os casos de uso

CorreçãoMultissetorial

Diagnosticar spill e filas antes de aumentar o warehouse

Grupo global de seguros

Resolução de estouros no tempo de execução de pipelines causados por consultas que faziam spill para o armazenamento remoto em warehouses subdimensionados, enquanto jobs simultâneos ficavam na fila atrás delas.

Visão geral

O pipeline noturno de transformação de um grupo de seguros começou a estourar sua janela e a invadir o horário comercial. A correção instintiva era um warehouse maior, que já tinha sido testado uma vez sem grande efeito. A AceMQ foi contratada para descobrir o que realmente consumia o tempo.

Desafio

Dois problemas distintos produziam o mesmo sintoma. Um pequeno número de consultas de transformação fazia spill para o armazenamento remoto, que é ordens de grandeza mais lento que o local, e essas consultas longas ocupavam o warehouse enquanto todo o resto ficava na fila atrás delas. Aumentar o tamanho do warehouse tinha ajudado um pouco as consultas com spill, mas piorado as filas em relação a cada crédito gasto.

Ambiente

Snowflake no Azure executando transformações dbt orquestradas pelo Airflow sobre dados de apólices e sinistros.

Abordagem

A AceMQ usou o histórico de consultas para separar, por consulta, o tempo de execução, o tempo em fila e o volume de spill, de modo que os dois problemas pudessem ser tratados de forma independente. As correções no nível das consultas vieram primeiro, porque uma consulta que faz spill continuará fazendo spill em qualquer tamanho de warehouse que não comporte seu working set.

Solução

  1. Separação, por consulta, do tempo de execução, do tempo em fila e do volume de spill remoto a partir do histórico de consultas
  2. Reescrita dos joins e das funções de janela nas consultas com mais spill para reduzir o tamanho dos resultados intermediários
  3. Divisão do pipeline em warehouses separados, para que as transformações longas deixassem de bloquear os jobs curtos
  4. Configuração de escalonamento multi-cluster no warehouse que atende às consultas curtas simultâneas
  5. Correção do clustering e da filtragem nas maiores tabelas de origem para reduzir as micro-partições varridas
  6. Inclusão do volume de spill e da profundidade da fila no monitoramento do pipeline como indicadores antecedentes de estouro da janela

Resultado obtido

O pipeline noturno voltou a caber em sua janela e deixou de invadir o horário comercial. O spill remoto foi eliminado nas piores consultas, e o consumo de créditos caiu em relação à abordagem do warehouse maior testada anteriormente.

Tecnologias

SnowflakedbtAirflowTerraform

Enfrentando um problema de produção com Snowflake?

Os engenheiros Snowflake sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.