Visão geral
Uma tabela Delta alimentada por um job de streaming com intervalo de trigger curto e uma coluna de partição de alta cardinalidade acumula arquivos pequenos mais rápido do que qualquer um percebe. Consultas que retornavam em segundos passam a gastar a maior parte do tempo listando arquivos e resolvendo metadados. A AceMQ corrige as tabelas e o caminho de escrita que criou o problema.
Desafio
Os sintomas geralmente aparecem como uma latência de leitura que cresce de forma gradual, e não repentina: uma consulta de dashboard que levava oito segundos passa a levar quatro minutos, os jobs de OPTIMIZE estouram a janela e são interrompidos, e o VACUUM não consegue terminar porque a própria lista de arquivos é enorme. Rodar OPTIMIZE na tabela inteira sem critério dispara uma reescrita que consome mais computação do que a equipe orçou e entra em conflito com os writers concorrentes.
Ambiente
Databricks com tabelas Delta escritas por Structured Streaming, Auto Loader ou jobs frequentes em micro-batch, sobre armazenamento de objetos em nuvem.
Abordagem
A AceMQ levanta o número de arquivos e a distribuição de tamanhos em cada partição para encontrar onde o dano está concentrado e, depois, compacta de forma incremental por faixa de partições, para que cada execução de OPTIMIZE caiba em uma janela de manutenção e não colida com os writers ativos. Com a tabela saudável, o caminho de escrita é corrigido (intervalos de trigger, escolha da coluna de partição e configurações de auto-compaction) para que o problema não volte.
Solução
- Levantamento do número e do tamanho dos arquivos por partição, para localizar onde os arquivos pequenos realmente se acumulam
- OPTIMIZE incremental com ZORDER nos predicados reais das consultas, agendado por faixa de partições para caber na janela de manutenção
- Revisão da estratégia de particionamento, geralmente removendo uma coluna de alta cardinalidade que deveria ser uma chave de ZORDER
- Configuração de auto-optimize e auto-compaction no caminho de escrita em streaming, com tamanho-alvo de arquivo ajustado
- Revisão da retenção do VACUUM e execução em etapas quando o número de arquivos volta à faixa adequada
- Revisão das configurações de deletion vectors e de checkpoints nas tabelas com muitas operações de merge
Resultado obtido
A latência de leitura nas tabelas afetadas normalmente volta à faixa original, e os jobs de manutenção voltam a terminar dentro da janela. Como o caminho de escrita é corrigido no mesmo projeto, o número de arquivos permanece estável, em vez de voltar a subir ao longo do trimestre seguinte.