Volver a todos los casos de uso

ConsultoríaMultisectorial

Pagar por cómputo que está haciendo trabajo

Proveedor global de logística

Reestructuración del dimensionamiento de los warehouses, la política de auto-suspend y el aislamiento de cargas de trabajo para que el consumo de créditos corresponda al trabajo que realmente se realiza.

Descripción general

El gasto en Snowflake de un proveedor de logística crecía más rápido que su volumen de datos o su cantidad de usuarios, y el área de finanzas quería una explicación antes de aprobar el siguiente compromiso. AceMQ analizó el consumo frente al trabajo que cada warehouse realizaba de verdad.

Desafío

La mayor parte del crecimiento venía de decisiones estructurales y no de una demanda real. Los warehouses se habían agrandado para resolver consultas lentas puntuales y nunca se habían vuelto a achicar. El auto-suspend estaba configurado tan alto que los warehouses quedaban inactivos durante largos períodos sin dejar de facturar. Varios equipos compartían warehouses, así que la contención llevaba a nuevos aumentos de tamaño que no beneficiaban a nadie en particular.

Entorno

Snowflake en AWS al servicio de business intelligence, transformaciones de dbt y análisis ad hoc de varios equipos.

Enfoque

AceMQ desarrolló una atribución del consumo hasta el nivel de warehouse, carga de trabajo y patrón de consulta, para que las decisiones pudieran tomarse a partir de evidencia y no de promedios. Luego se fijó el tamaño de cada carga de trabajo según su perfil medido, con el auto-suspend ajustado al equilibrio entre la facturación en inactividad y la caché caliente, y no a un valor predeterminado.

Solución

  1. Atribución del consumo de créditos por warehouse, carga de trabajo, equipo y patrón de consulta
  2. Right-sizing de cada warehouse según los perfiles de consulta medidos y no según la peor consulta que se haya ejecutado en él
  3. Ajuste del auto-suspend de cada warehouse según el equilibrio real entre la facturación en inactividad y la caché de resultados caliente
  4. Separación de las cargas de trabajo en conflicto en warehouses dedicados, para que las decisiones de dimensionamiento dejaran de ser concesiones
  5. Aplicación del escalado multi-cluster solo donde la concurrencia, y no el tamaño de las consultas, era la verdadera restricción
  6. Configuración de resource monitors y límites por equipo, con alertas antes de alcanzar los umbrales

Resultado final

El consumo de créditos bajó de forma significativa sin degradar el rendimiento de las consultas de ninguna carga de trabajo, y la curva de crecimiento se aplanó en relación con el volumen de datos. Finanzas ahora tiene la atribución por equipo, de modo que las conversaciones sobre costos hacen referencia a cargas de trabajo concretas y no a un único número agregado.

Tecnologías

SnowflakedbtTerraformAirflow

¿Necesita orientación de arquitectura para Snowflake?

Los ingenieros sénior de Snowflake de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.