Descripción general
Una tabla Delta alimentada por un job de streaming con un intervalo de trigger corto y una columna de partición de alta cardinalidad acumula ficheros pequeños más deprisa de lo que nadie advierte. Las consultas que antes respondían en segundos empiezan a dedicar la mayor parte de su tiempo a listar ficheros y resolver metadatos. AceMQ corrige las tablas y la ruta de escritura que creó el problema.
Reto
Los síntomas suelen aparecer como una latencia de lectura que crece de forma constante y no repentina: una consulta de dashboard que tardaba ocho segundos pasa a tardar cuatro minutos, los jobs de OPTIMIZE se salen de su ventana y se interrumpen, y VACUUM no puede terminar porque la propia lista de ficheros es enorme. Ejecutar OPTIMIZE sin más sobre toda la tabla desencadena una reescritura que cuesta más cómputo del que el equipo tenía presupuestado y entra en conflicto con los escritores concurrentes.
Entorno
Databricks con tablas Delta escritas mediante Structured Streaming, Auto Loader o jobs frecuentes de microlotes sobre almacenamiento de objetos en la nube.
Enfoque
AceMQ perfila el número de ficheros y la distribución de tamaños por partición para localizar dónde se concentra el daño, y después compacta de forma incremental por rangos de particiones para que cada ejecución de OPTIMIZE quepa en una ventana de mantenimiento y no choque con los escritores activos. Una vez que la tabla está sana, se corrige la ruta de escritura (intervalos de trigger, elección de la columna de partición y configuración de auto-compaction) para que el problema no vuelva.
Solución
- Perfil del número y el tamaño de los ficheros por partición para localizar dónde se acumulan realmente los ficheros pequeños
- OPTIMIZE incremental con ZORDER sobre los predicados reales de las consultas, programado por rangos de particiones para ajustarse a la ventana de mantenimiento
- Revisión de la estrategia de particionado, que normalmente elimina una columna de alta cardinalidad que debería ser una clave ZORDER
- Configuración de auto-optimize y auto-compaction en la ruta de escritura en streaming, con el tamaño objetivo de fichero ajustado
- Revisión de la retención de VACUUM y ejecución por etapas una vez que el número de ficheros vuelve a su rango
- Revisión de la configuración de deletion vectors y checkpoints en las tablas con muchas operaciones de merge
Resultado final
La latencia de lectura de las tablas afectadas suele volver a su rango original, y los jobs de mantenimiento vuelven a terminar dentro de su ventana. Como la ruta de escritura se corrige en el mismo proyecto, el número de ficheros se mantiene estable en lugar de volver a subir durante el trimestre siguiente.