Panoramica
Una tabella Delta alimentata da un job di streaming con un trigger interval breve e una colonna di partizione ad alta cardinalità accumula file piccoli più in fretta di quanto chiunque se ne accorga. Le query che prima rispondevano in pochi secondi iniziano a passare la maggior parte del tempo nel listing dei file e nella risoluzione dei metadati. AceMQ risana le tabelle e corregge il percorso di scrittura che ha creato il problema.
Sfida
I sintomi si manifestano di solito come una latenza di lettura che cresce in modo costante anziché improvviso: una query di dashboard che richiedeva otto secondi ora ne richiede quattro minuti, i job di OPTIMIZE sforano la propria finestra e vengono terminati, e VACUUM non riesce a completarsi perché l'elenco stesso dei file è enorme. Lanciare ingenuamente OPTIMIZE sull'intera tabella innesca una riscrittura che costa più compute di quanto il team avesse messo a budget ed entra in conflitto con gli scrittori concorrenti.
Ambiente
Databricks con tabelle Delta scritte da Structured Streaming, Auto Loader o job micro-batch frequenti su object storage in cloud.
Approccio
AceMQ profila numero di file e distribuzione delle dimensioni per partizione per capire dove si concentra il danno, quindi compatta in modo incrementale per intervalli di partizioni, così che ogni esecuzione di OPTIMIZE rientri in una finestra di manutenzione e non collida con gli scrittori attivi. Una volta risanata la tabella, si corregge il percorso di scrittura (trigger interval, scelta della colonna di partizione e impostazioni di auto-compaction) perché il problema non si ripresenti.
Soluzione
- Profilazione di numero e dimensione dei file per partizione, per individuare dove si accumulano davvero i file piccoli
- OPTIMIZE incrementale con ZORDER sui predicati reali delle query, pianificato per intervalli di partizioni per rientrare nella finestra di manutenzione
- Revisione della strategia di partizionamento, che di solito elimina una colonna ad alta cardinalità da usare invece come chiave ZORDER
- Configurazione di auto-optimize e auto-compaction sul percorso di scrittura in streaming, con dimensione target dei file tarata
- Revisione della retention di VACUUM ed esecuzione per fasi una volta riportato nella norma il numero di file
- Impostazioni di deletion vector e checkpoint riviste per le tabelle con molte operazioni di merge
Esito
La latenza di lettura sulle tabelle interessate torna di norma ai valori originari, e i job di manutenzione si concludono di nuovo entro la propria finestra. Poiché il percorso di scrittura viene corretto nello stesso intervento, il numero di file resta stabile anziché tornare a salire nel trimestre successivo.