Descripción general
Una tabla Delta alimentada por un job de streaming con un intervalo de trigger corto y una columna de partición de alta cardinalidad acumula archivos pequeños más rápido de lo que nadie nota. Las consultas que antes respondían en segundos empiezan a pasar la mayor parte del tiempo listando archivos y resolviendo metadatos. AceMQ corrige las tablas y la ruta de escritura que generó el problema.
Desafío
Los síntomas suelen aparecer como una latencia de lectura que crece de forma constante y no de golpe: una consulta de dashboard que tardaba ocho segundos ahora tarda cuatro minutos, los jobs de OPTIMIZE se exceden de su ventana y se cancelan, y VACUUM no puede terminar porque la propia lista de archivos es enorme. Ejecutar OPTIMIZE sin más sobre toda la tabla dispara una reescritura que cuesta más cómputo del presupuestado por el equipo y entra en conflicto con los escritores concurrentes.
Entorno
Databricks con tablas Delta escritas por Structured Streaming, Auto Loader o jobs de micro-batch frecuentes sobre almacenamiento de objetos en la nube.
Enfoque
AceMQ perfila la cantidad y la distribución de tamaño de los archivos por partición para encontrar dónde se concentra el daño, y luego compacta de forma incremental por rango de particiones, para que cada ejecución de OPTIMIZE quepa en una ventana de mantenimiento y no choque con los escritores activos. Una vez que la tabla está saludable, se corrige la ruta de escritura (intervalos de trigger, elección de la columna de partición y configuración de auto-compaction) para que no vuelva a degradarse.
Solución
- Perfilado de la cantidad y el tamaño de los archivos por partición para localizar dónde se acumulan realmente los archivos pequeños
- OPTIMIZE incremental con ZORDER sobre los predicados reales de las consultas, programado por rango de particiones para caber en la ventana de mantenimiento
- Revisión de la estrategia de particionamiento, que por lo general elimina una columna de alta cardinalidad que debería ser una clave de ZORDER
- Configuración de auto-optimize y auto-compaction en la ruta de escritura en streaming, con un tamaño de archivo objetivo ajustado
- Revisión de la retención de VACUUM y ejecución por etapas una vez que la cantidad de archivos vuelve a un rango normal
- Revisión de la configuración de deletion vectors y checkpoints en las tablas con muchos merges
Resultado final
La latencia de lectura de las tablas afectadas suele volver a su rango original, y los jobs de mantenimiento vuelven a terminar dentro de su ventana. Como la ruta de escritura se corrige en el mismo proyecto, la cantidad de archivos se mantiene estable en lugar de volver a subir durante el trimestre siguiente.