Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Compacte los ficheros pequeños que ahogan sus tablas Delta y manténgalas compactadas

Plataforma de comercio minorista digital

Corrección de tablas Delta en las que las escrituras en streaming y el exceso de particionado han producido millones de ficheros diminutos que bloquean las lecturas y las operaciones de vacuum.

Descripción general

Una tabla Delta alimentada por un job de streaming con un intervalo de trigger corto y una columna de partición de alta cardinalidad acumula ficheros pequeños más deprisa de lo que nadie advierte. Las consultas que antes respondían en segundos empiezan a dedicar la mayor parte de su tiempo a listar ficheros y resolver metadatos. AceMQ corrige las tablas y la ruta de escritura que creó el problema.

Reto

Los síntomas suelen aparecer como una latencia de lectura que crece de forma constante y no repentina: una consulta de dashboard que tardaba ocho segundos pasa a tardar cuatro minutos, los jobs de OPTIMIZE se salen de su ventana y se interrumpen, y VACUUM no puede terminar porque la propia lista de ficheros es enorme. Ejecutar OPTIMIZE sin más sobre toda la tabla desencadena una reescritura que cuesta más cómputo del que el equipo tenía presupuestado y entra en conflicto con los escritores concurrentes.

Entorno

Databricks con tablas Delta escritas mediante Structured Streaming, Auto Loader o jobs frecuentes de microlotes sobre almacenamiento de objetos en la nube.

Enfoque

AceMQ perfila el número de ficheros y la distribución de tamaños por partición para localizar dónde se concentra el daño, y después compacta de forma incremental por rangos de particiones para que cada ejecución de OPTIMIZE quepa en una ventana de mantenimiento y no choque con los escritores activos. Una vez que la tabla está sana, se corrige la ruta de escritura (intervalos de trigger, elección de la columna de partición y configuración de auto-compaction) para que el problema no vuelva.

Solución

  1. Perfil del número y el tamaño de los ficheros por partición para localizar dónde se acumulan realmente los ficheros pequeños
  2. OPTIMIZE incremental con ZORDER sobre los predicados reales de las consultas, programado por rangos de particiones para ajustarse a la ventana de mantenimiento
  3. Revisión de la estrategia de particionado, que normalmente elimina una columna de alta cardinalidad que debería ser una clave ZORDER
  4. Configuración de auto-optimize y auto-compaction en la ruta de escritura en streaming, con el tamaño objetivo de fichero ajustado
  5. Revisión de la retención de VACUUM y ejecución por etapas una vez que el número de ficheros vuelve a su rango
  6. Revisión de la configuración de deletion vectors y checkpoints en las tablas con muchas operaciones de merge

Resultado final

La latencia de lectura de las tablas afectadas suele volver a su rango original, y los jobs de mantenimiento vuelven a terminar dentro de su ventana. Como la ruta de escritura se corrige en el mismo proyecto, el número de ficheros se mantiene estable en lugar de volver a subir durante el trimestre siguiente.

Tecnologías

DatabricksDelta LakeApache Spark

¿Se enfrenta a un problema de Databricks en producción?

Los ingenieros sénior de Databricks de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.