Descripción general
El pipeline nocturno de transformación de un grupo asegurador empezó a excederse de su ventana y a chocar con la jornada laboral. La solución instintiva era un warehouse más grande, algo que ya se había intentado una vez sin mucho efecto. AceMQ fue contratada para encontrar qué era lo que realmente consumía el tiempo.
Desafío
Dos problemas distintos producían el mismo síntoma. Un pequeño número de consultas de transformación hacía spilling a almacenamiento remoto, que es órdenes de magnitud más lento que el local, y esas consultas de larga duración ocupaban el warehouse mientras todo lo demás quedaba en cola detrás de ellas. Aumentar el tamaño del warehouse había ayudado un poco a las consultas con spilling, pero había empeorado las colas por cada crédito gastado.
Entorno
Snowflake en Azure con transformaciones de dbt orquestadas por Airflow sobre datos de pólizas y siniestros.
Enfoque
AceMQ usó el historial de consultas para separar, por consulta, el tiempo de ejecución, el tiempo en cola y el volumen de spilling, de modo que ambos problemas pudieran abordarse por separado. Primero se corrigieron las consultas, porque una consulta que hace spilling lo seguirá haciendo en cualquier tamaño de warehouse en el que no quepa su conjunto de trabajo.
Solución
- Separación, a partir del historial de consultas, del tiempo de ejecución, el tiempo en cola y el volumen de spilling remoto por consulta
- Reescritura de los joins y las funciones de ventana en las consultas con peor spilling para reducir el tamaño de los resultados intermedios
- División del pipeline en warehouses separados para que las transformaciones largas dejaran de bloquear los jobs cortos
- Configuración del escalado multi-cluster en el warehouse que atiende consultas cortas concurrentes
- Corrección del clustering y del filtrado en las tablas de origen más grandes para reducir las micro-partitions escaneadas
- Incorporación del volumen de spilling y de la profundidad de cola al monitoreo del pipeline como indicadores tempranos de que se excederá la ventana
Resultado final
El pipeline nocturno volvió a terminar dentro de su ventana y dejó de chocar con el horario laboral. Se eliminó el spilling remoto en las peores consultas y el consumo de créditos bajó en comparación con el enfoque de un warehouse más grande que se había probado antes.