Descripción general
El pipeline nocturno de transformación de un grupo asegurador empezó a salirse de su ventana y a solaparse con la jornada laboral. La solución instintiva era un warehouse más grande, algo que ya se había probado una vez sin mucho efecto. Se contrató a AceMQ para averiguar qué estaba consumiendo realmente el tiempo.
Reto
Dos problemas distintos producían el mismo síntoma. Un pequeño número de consultas de transformación volcaba datos al almacenamiento remoto, que es varios órdenes de magnitud más lento que el local, y esas consultas de larga duración ocupaban el warehouse mientras todo lo demás esperaba en cola detrás. Aumentar el tamaño del warehouse había ayudado algo a las consultas con spill, pero había empeorado las colas en relación con cada crédito gastado.
Entorno
Snowflake en Azure con transformaciones dbt orquestadas por Airflow sobre datos de pólizas y siniestros.
Enfoque
AceMQ utilizó el historial de consultas para separar el tiempo de ejecución, el tiempo en cola y el volumen de spill de cada consulta, de modo que ambos problemas pudieran abordarse por separado. Las correcciones a nivel de consulta fueron lo primero, porque una consulta que hace spill lo seguirá haciendo en cualquier tamaño de warehouse en el que no quepa su working set.
Solución
- Separación del tiempo de ejecución, el tiempo en cola y el volumen de spill remoto de cada consulta a partir del historial de consultas
- Reescritura de los joins y las funciones de ventana de las consultas con más spill para reducir el tamaño de los resultados intermedios
- División del pipeline en warehouses separados para que las transformaciones largas dejaran de bloquear los jobs cortos
- Configuración del escalado multi-cluster en el warehouse que atiende las consultas cortas concurrentes
- Corrección del clustering y del filtrado en las tablas de origen más grandes para reducir las micro-particiones recorridas
- Incorporación del volumen de spill y de la profundidad de las colas a la monitorización del pipeline como indicadores adelantados de que se va a superar la ventana
Resultado final
El pipeline nocturno volvió a terminar dentro de su ventana y dejó de solaparse con el horario laboral. El spill remoto desapareció en las peores consultas y el consumo de créditos bajó en comparación con el enfoque de warehouse más grande que se había probado antes.