Descripción general
El gasto en Snowflake de un proveedor logístico crecía más deprisa que su volumen de datos o su número de usuarios, y el departamento financiero quería una explicación antes de aprobar el siguiente compromiso. AceMQ analizó el consumo frente al trabajo que realizaba realmente cada warehouse.
Reto
La mayor parte del crecimiento procedía de decisiones estructurales y no de una demanda real. Los warehouses se habían agrandado para resolver consultas lentas concretas y nunca se habían vuelto a reducir. El auto-suspend estaba configurado tan alto que los warehouses pasaban largos periodos inactivos sin dejar de facturar. Varios equipos compartían warehouses, de modo que la contención provocaba nuevos aumentos de tamaño que no beneficiaban a nadie en particular.
Entorno
Snowflake en AWS al servicio de business intelligence, transformaciones con dbt y análisis ad hoc de varios equipos.
Enfoque
AceMQ atribuyó el consumo hasta el nivel de warehouse, carga de trabajo y patrón de consulta, para que las decisiones se tomaran con datos y no con promedios. Después se fijó el tamaño de cada carga según su perfil medido, con el auto-suspend ajustado al equilibrio entre la facturación en reposo y el mantenimiento de la caché caliente, en lugar de a un valor por defecto.
Solución
- Atribución del consumo de créditos por warehouse, carga de trabajo, equipo y patrón de consulta
- Redimensionamiento de cada warehouse según los perfiles de consulta medidos y no según la peor consulta que se haya ejecutado en él
- Ajuste del auto-suspend de cada warehouse según el equilibrio real entre la facturación en reposo y la caché de resultados caliente
- Separación de las cargas que competían entre sí en warehouses dedicados, para que las decisiones de tamaño dejaran de ser concesiones
- Aplicación del escalado multiclúster solo donde la restricción real era la concurrencia y no el tamaño de las consultas
- Resource monitors y límites por equipo con alertas antes de que se alcancen los umbrales
Resultado final
El consumo de créditos bajó de forma notable sin degradar el rendimiento de las consultas de ninguna carga, y la curva de crecimiento se aplanó respecto al volumen de datos. El departamento financiero dispone ahora de la atribución por equipo, de modo que las conversaciones sobre costes se refieren a cargas de trabajo concretas y no a una única cifra agregada.