Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Compattare i file piccoli che soffocano le vostre tabelle Delta, e mantenerle compatte

Piattaforma di retail digitale

Correzione di tabelle Delta in cui le scritture in streaming e un partizionamento eccessivo hanno prodotto milioni di file minuscoli, bloccando letture e operazioni di vacuum.

Panoramica

Una tabella Delta alimentata da un job di streaming con un trigger interval breve e una colonna di partizione ad alta cardinalità accumula file piccoli più in fretta di quanto chiunque se ne accorga. Le query che prima rispondevano in pochi secondi iniziano a passare la maggior parte del tempo nel listing dei file e nella risoluzione dei metadati. AceMQ risana le tabelle e corregge il percorso di scrittura che ha creato il problema.

Sfida

I sintomi si manifestano di solito come una latenza di lettura che cresce in modo costante anziché improvviso: una query di dashboard che richiedeva otto secondi ora ne richiede quattro minuti, i job di OPTIMIZE sforano la propria finestra e vengono terminati, e VACUUM non riesce a completarsi perché l'elenco stesso dei file è enorme. Lanciare ingenuamente OPTIMIZE sull'intera tabella innesca una riscrittura che costa più compute di quanto il team avesse messo a budget ed entra in conflitto con gli scrittori concorrenti.

Ambiente

Databricks con tabelle Delta scritte da Structured Streaming, Auto Loader o job micro-batch frequenti su object storage in cloud.

Approccio

AceMQ profila numero di file e distribuzione delle dimensioni per partizione per capire dove si concentra il danno, quindi compatta in modo incrementale per intervalli di partizioni, così che ogni esecuzione di OPTIMIZE rientri in una finestra di manutenzione e non collida con gli scrittori attivi. Una volta risanata la tabella, si corregge il percorso di scrittura (trigger interval, scelta della colonna di partizione e impostazioni di auto-compaction) perché il problema non si ripresenti.

Soluzione

  1. Profilazione di numero e dimensione dei file per partizione, per individuare dove si accumulano davvero i file piccoli
  2. OPTIMIZE incrementale con ZORDER sui predicati reali delle query, pianificato per intervalli di partizioni per rientrare nella finestra di manutenzione
  3. Revisione della strategia di partizionamento, che di solito elimina una colonna ad alta cardinalità da usare invece come chiave ZORDER
  4. Configurazione di auto-optimize e auto-compaction sul percorso di scrittura in streaming, con dimensione target dei file tarata
  5. Revisione della retention di VACUUM ed esecuzione per fasi una volta riportato nella norma il numero di file
  6. Impostazioni di deletion vector e checkpoint riviste per le tabelle con molte operazioni di merge

Esito

La latenza di lettura sulle tabelle interessate torna di norma ai valori originari, e i job di manutenzione si concludono di nuovo entro la propria finestra. Poiché il percorso di scrittura viene corretto nello stesso intervento, il numero di file resta stabile anziché tornare a salire nel trimestre successivo.

Tecnologie

DatabricksDelta LakeApache Spark

Avete un problema di produzione su Databricks?

Gli ingegneri Databricks senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.