Descripción general
Un proveedor de datos de mercado tenía tablas de decenas de miles de millones de filas en las que el costo de las consultas había crecido de forma desproporcionada respecto del tamaño de los resultados. Las clustering keys se habían definido años antes según patrones de consulta que luego cambiaron. AceMQ evaluó la efectividad del pruning en las tablas más grandes.
Desafío
Tanto el rendimiento como el costo en Snowflake dependen de cuántas micro-partitions tiene que escanear una consulta. Cuando las clustering keys dejan de coincidir con los predicados de filtro, el pruning se degrada sin hacer ruido: las consultas siguen devolviendo resultados correctos mientras escanean cada vez más datos. El automatic clustering también tiene su propio costo en créditos, que hay que sopesar frente al escaneo que evita.
Entorno
Snowflake en Azure con varios años de datos tick y de referencia, consultados por cargas de trabajo de investigación y de reportes.
Enfoque
AceMQ midió las particiones escaneadas frente al total de particiones para los patrones de consulta dominantes de cada tabla grande, lo que da una lectura directa de la efectividad del pruning. Luego se evaluaron las clustering keys candidatas tanto por el escaneo que evitarían como por los créditos de reclustering que consumirían.
Solución
- Medición de las particiones escaneadas frente al total de particiones por patrón de consulta para cuantificar la efectividad real del pruning
- Comparación de las clustering keys actuales con los predicados de filtro que usan hoy las consultas, no los de la etapa de diseño
- Evaluación de las clustering keys candidatas según la reducción de escaneo y el costo continuo en créditos de reclustering
- Evaluación de la clustering depth en las tablas más grandes para identificar dónde el reclustering no seguía el ritmo
- Revisión del diseño de tablas en los casos en que las tablas particionadas o search optimization encajan mejor que el clustering
- Entrega de recomendaciones por tabla, indicando para cada una la reducción de escaneo esperada y el impacto en créditos
Resultado final
El proveedor obtuvo una visión tabla por tabla de dónde se había degradado el pruning y cuánto le costaba, con recomendaciones sopesadas frente a los créditos de reclustering en lugar de presentarse como gratuitas. Se priorizaron las tablas más grandes, donde recuperar el pruning redujo considerablemente las particiones escaneadas.