Volver a todos los casos de uso

EvaluaciónServicios financieros / Trading

Descubrir qué parte de cada tabla leen realmente sus consultas

Proveedor de datos de mercados financieros

Evaluación de las clustering keys, el pruning de micro-partitions y el diseño de tablas en tablas grandes donde las consultas habían empezado a escanear la mayor parte de los datos.

Descripción general

Un proveedor de datos de mercado tenía tablas de decenas de miles de millones de filas en las que el costo de las consultas había crecido de forma desproporcionada respecto del tamaño de los resultados. Las clustering keys se habían definido años antes según patrones de consulta que luego cambiaron. AceMQ evaluó la efectividad del pruning en las tablas más grandes.

Desafío

Tanto el rendimiento como el costo en Snowflake dependen de cuántas micro-partitions tiene que escanear una consulta. Cuando las clustering keys dejan de coincidir con los predicados de filtro, el pruning se degrada sin hacer ruido: las consultas siguen devolviendo resultados correctos mientras escanean cada vez más datos. El automatic clustering también tiene su propio costo en créditos, que hay que sopesar frente al escaneo que evita.

Entorno

Snowflake en Azure con varios años de datos tick y de referencia, consultados por cargas de trabajo de investigación y de reportes.

Enfoque

AceMQ midió las particiones escaneadas frente al total de particiones para los patrones de consulta dominantes de cada tabla grande, lo que da una lectura directa de la efectividad del pruning. Luego se evaluaron las clustering keys candidatas tanto por el escaneo que evitarían como por los créditos de reclustering que consumirían.

Solución

  1. Medición de las particiones escaneadas frente al total de particiones por patrón de consulta para cuantificar la efectividad real del pruning
  2. Comparación de las clustering keys actuales con los predicados de filtro que usan hoy las consultas, no los de la etapa de diseño
  3. Evaluación de las clustering keys candidatas según la reducción de escaneo y el costo continuo en créditos de reclustering
  4. Evaluación de la clustering depth en las tablas más grandes para identificar dónde el reclustering no seguía el ritmo
  5. Revisión del diseño de tablas en los casos en que las tablas particionadas o search optimization encajan mejor que el clustering
  6. Entrega de recomendaciones por tabla, indicando para cada una la reducción de escaneo esperada y el impacto en créditos

Resultado final

El proveedor obtuvo una visión tabla por tabla de dónde se había degradado el pruning y cuánto le costaba, con recomendaciones sopesadas frente a los créditos de reclustering en lugar de presentarse como gratuitas. Se priorizaron las tablas más grandes, donde recuperar el pruning redujo considerablemente las particiones escaneadas.

Tecnologías

SnowflakedbtAirflowTerraform

¿Listo para un health check de Snowflake?

Los ingenieros sénior de Snowflake de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.