Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Compacte os arquivos pequenos que sufocam suas tabelas Delta e mantenha-as compactadas

Plataforma de varejo digital

Correção de tabelas Delta em que escritas em streaming e excesso de particionamento geraram milhões de arquivos minúsculos, travando as leituras e as operações de vacuum.

Visão geral

Uma tabela Delta alimentada por um job de streaming com intervalo de trigger curto e uma coluna de partição de alta cardinalidade acumula arquivos pequenos mais rápido do que qualquer um percebe. Consultas que retornavam em segundos passam a gastar a maior parte do tempo listando arquivos e resolvendo metadados. A AceMQ corrige as tabelas e o caminho de escrita que criou o problema.

Desafio

Os sintomas geralmente aparecem como uma latência de leitura que cresce de forma gradual, e não repentina: uma consulta de dashboard que levava oito segundos passa a levar quatro minutos, os jobs de OPTIMIZE estouram a janela e são interrompidos, e o VACUUM não consegue terminar porque a própria lista de arquivos é enorme. Rodar OPTIMIZE na tabela inteira sem critério dispara uma reescrita que consome mais computação do que a equipe orçou e entra em conflito com os writers concorrentes.

Ambiente

Databricks com tabelas Delta escritas por Structured Streaming, Auto Loader ou jobs frequentes em micro-batch, sobre armazenamento de objetos em nuvem.

Abordagem

A AceMQ levanta o número de arquivos e a distribuição de tamanhos em cada partição para encontrar onde o dano está concentrado e, depois, compacta de forma incremental por faixa de partições, para que cada execução de OPTIMIZE caiba em uma janela de manutenção e não colida com os writers ativos. Com a tabela saudável, o caminho de escrita é corrigido (intervalos de trigger, escolha da coluna de partição e configurações de auto-compaction) para que o problema não volte.

Solução

  1. Levantamento do número e do tamanho dos arquivos por partição, para localizar onde os arquivos pequenos realmente se acumulam
  2. OPTIMIZE incremental com ZORDER nos predicados reais das consultas, agendado por faixa de partições para caber na janela de manutenção
  3. Revisão da estratégia de particionamento, geralmente removendo uma coluna de alta cardinalidade que deveria ser uma chave de ZORDER
  4. Configuração de auto-optimize e auto-compaction no caminho de escrita em streaming, com tamanho-alvo de arquivo ajustado
  5. Revisão da retenção do VACUUM e execução em etapas quando o número de arquivos volta à faixa adequada
  6. Revisão das configurações de deletion vectors e de checkpoints nas tabelas com muitas operações de merge

Resultado obtido

A latência de leitura nas tabelas afetadas normalmente volta à faixa original, e os jobs de manutenção voltam a terminar dentro da janela. Como o caminho de escrita é corrigido no mesmo projeto, o número de arquivos permanece estável, em vez de voltar a subir ao longo do trimestre seguinte.

Tecnologias

DatabricksDelta LakeApache Spark

Enfrentando um problema de produção com Databricks?

Os engenheiros Databricks sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.