Volver a todos los casos de uso

RemediaciónMultisectorial

Diagnosticar el spill y las colas antes de ampliar el warehouse

Grupo asegurador global

Resolución de tiempos de ejecución disparados en los pipelines por consultas que volcaban datos (spill) al almacenamiento remoto en warehouses infradimensionados mientras los jobs concurrentes esperaban en cola detrás de ellas.

Descripción general

El pipeline nocturno de transformación de un grupo asegurador empezó a salirse de su ventana y a solaparse con la jornada laboral. La solución instintiva era un warehouse más grande, algo que ya se había probado una vez sin mucho efecto. Se contrató a AceMQ para averiguar qué estaba consumiendo realmente el tiempo.

Reto

Dos problemas distintos producían el mismo síntoma. Un pequeño número de consultas de transformación volcaba datos al almacenamiento remoto, que es varios órdenes de magnitud más lento que el local, y esas consultas de larga duración ocupaban el warehouse mientras todo lo demás esperaba en cola detrás. Aumentar el tamaño del warehouse había ayudado algo a las consultas con spill, pero había empeorado las colas en relación con cada crédito gastado.

Entorno

Snowflake en Azure con transformaciones dbt orquestadas por Airflow sobre datos de pólizas y siniestros.

Enfoque

AceMQ utilizó el historial de consultas para separar el tiempo de ejecución, el tiempo en cola y el volumen de spill de cada consulta, de modo que ambos problemas pudieran abordarse por separado. Las correcciones a nivel de consulta fueron lo primero, porque una consulta que hace spill lo seguirá haciendo en cualquier tamaño de warehouse en el que no quepa su working set.

Solución

  1. Separación del tiempo de ejecución, el tiempo en cola y el volumen de spill remoto de cada consulta a partir del historial de consultas
  2. Reescritura de los joins y las funciones de ventana de las consultas con más spill para reducir el tamaño de los resultados intermedios
  3. División del pipeline en warehouses separados para que las transformaciones largas dejaran de bloquear los jobs cortos
  4. Configuración del escalado multi-cluster en el warehouse que atiende las consultas cortas concurrentes
  5. Corrección del clustering y del filtrado en las tablas de origen más grandes para reducir las micro-particiones recorridas
  6. Incorporación del volumen de spill y de la profundidad de las colas a la monitorización del pipeline como indicadores adelantados de que se va a superar la ventana

Resultado final

El pipeline nocturno volvió a terminar dentro de su ventana y dejó de solaparse con el horario laboral. El spill remoto desapareció en las peores consultas y el consumo de créditos bajó en comparación con el enfoque de warehouse más grande que se había probado antes.

Tecnologías

SnowflakedbtAirflowTerraform

¿Se enfrenta a un problema de Snowflake en producción?

Los ingenieros sénior de Snowflake de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.