Volver a todos los casos de uso

ConsultoríaMultisectorial

Pagar por cómputo que está trabajando

Proveedor logístico global

Reestructuración del tamaño de los warehouses, la política de auto-suspend y el aislamiento de cargas de trabajo para ajustar el consumo de créditos al trabajo que realmente se realiza.

Descripción general

El gasto en Snowflake de un proveedor logístico crecía más deprisa que su volumen de datos o su número de usuarios, y el departamento financiero quería una explicación antes de aprobar el siguiente compromiso. AceMQ analizó el consumo frente al trabajo que realizaba realmente cada warehouse.

Reto

La mayor parte del crecimiento procedía de decisiones estructurales y no de una demanda real. Los warehouses se habían agrandado para resolver consultas lentas concretas y nunca se habían vuelto a reducir. El auto-suspend estaba configurado tan alto que los warehouses pasaban largos periodos inactivos sin dejar de facturar. Varios equipos compartían warehouses, de modo que la contención provocaba nuevos aumentos de tamaño que no beneficiaban a nadie en particular.

Entorno

Snowflake en AWS al servicio de business intelligence, transformaciones con dbt y análisis ad hoc de varios equipos.

Enfoque

AceMQ atribuyó el consumo hasta el nivel de warehouse, carga de trabajo y patrón de consulta, para que las decisiones se tomaran con datos y no con promedios. Después se fijó el tamaño de cada carga según su perfil medido, con el auto-suspend ajustado al equilibrio entre la facturación en reposo y el mantenimiento de la caché caliente, en lugar de a un valor por defecto.

Solución

  1. Atribución del consumo de créditos por warehouse, carga de trabajo, equipo y patrón de consulta
  2. Redimensionamiento de cada warehouse según los perfiles de consulta medidos y no según la peor consulta que se haya ejecutado en él
  3. Ajuste del auto-suspend de cada warehouse según el equilibrio real entre la facturación en reposo y la caché de resultados caliente
  4. Separación de las cargas que competían entre sí en warehouses dedicados, para que las decisiones de tamaño dejaran de ser concesiones
  5. Aplicación del escalado multiclúster solo donde la restricción real era la concurrencia y no el tamaño de las consultas
  6. Resource monitors y límites por equipo con alertas antes de que se alcancen los umbrales

Resultado final

El consumo de créditos bajó de forma notable sin degradar el rendimiento de las consultas de ninguna carga, y la curva de crecimiento se aplanó respecto al volumen de datos. El departamento financiero dispone ahora de la atribución por equipo, de modo que las conversaciones sobre costes se refieren a cargas de trabajo concretas y no a una única cifra agregada.

Tecnologías

SnowflakedbtTerraformAirflow

¿Necesita asesoramiento de arquitectura para Snowflake?

Los ingenieros sénior de Snowflake de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.