Volver a todos los casos de uso

EvaluaciónServicios financieros / Trading

Averiguar qué parte de cada tabla leen realmente sus consultas

Proveedor de datos de mercados financieros

Evaluación de las claves de clustering, la poda de micro-particiones y el diseño de tablas en tablas grandes en las que las consultas habían empezado a recorrer la mayor parte de los datos.

Descripción general

Un proveedor de datos de mercado tenía tablas de decenas de miles de millones de filas en las que el coste de las consultas había crecido de forma desproporcionada respecto al tamaño de los resultados. Las claves de clustering se habían definido años atrás para unos patrones de consulta que habían cambiado desde entonces. AceMQ evaluó la eficacia de la poda en las tablas más grandes.

Reto

Tanto el rendimiento como el coste de Snowflake dependen de cuántas micro-particiones tiene que recorrer una consulta. Cuando las claves de clustering dejan de coincidir con los predicados de filtrado, la poda se degrada sin hacer ruido: las consultas siguen devolviendo resultados correctos mientras recorren cada vez más datos. El clustering automático tiene además su propio coste en créditos, que hay que sopesar frente al escaneo que evita.

Entorno

Snowflake en Azure con datos tick y de referencia de varios años, consultados por cargas de trabajo de análisis e informes.

Enfoque

AceMQ midió las particiones recorridas frente al total de particiones en los patrones de consulta dominantes de cada tabla grande, lo que da una lectura directa de la eficacia de la poda. Después, las claves de clustering candidatas se evaluaron tanto por el escaneo que evitarían como por los créditos de reclustering que consumirían.

Solución

  1. Medición de las particiones recorridas frente al total por patrón de consulta para cuantificar la eficacia real de la poda
  2. Comparación de las claves de clustering actuales con los predicados de filtrado que usan las consultas hoy, no en el momento del diseño
  3. Evaluación de las claves de clustering candidatas tanto por la reducción del escaneo como por el coste continuo en créditos de reclustering
  4. Evaluación de la profundidad de clustering en las tablas más grandes para identificar dónde el reclustering no seguía el ritmo
  5. Revisión del diseño de tablas para los casos en que las tablas particionadas o la search optimization encajan mejor que el clustering
  6. Recomendaciones por tabla con la reducción de escaneo prevista y el impacto en créditos indicados para cada una

Resultado final

El proveedor obtuvo una visión por tabla de dónde se había degradado la poda y cuánto le estaba costando, con recomendaciones sopesadas frente a los créditos de reclustering en lugar de presentarse como gratuitas. Se dio prioridad a las tablas más grandes, donde la recuperación de la poda redujo considerablemente las particiones recorridas.

Tecnologías

SnowflakedbtAirflowTerraform

¿Preparado para un health check de Snowflake?

Los ingenieros sénior de Snowflake de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.