Descripción general
Un proveedor de datos de mercado tenía tablas de decenas de miles de millones de filas en las que el coste de las consultas había crecido de forma desproporcionada respecto al tamaño de los resultados. Las claves de clustering se habían definido años atrás para unos patrones de consulta que habían cambiado desde entonces. AceMQ evaluó la eficacia de la poda en las tablas más grandes.
Reto
Tanto el rendimiento como el coste de Snowflake dependen de cuántas micro-particiones tiene que recorrer una consulta. Cuando las claves de clustering dejan de coincidir con los predicados de filtrado, la poda se degrada sin hacer ruido: las consultas siguen devolviendo resultados correctos mientras recorren cada vez más datos. El clustering automático tiene además su propio coste en créditos, que hay que sopesar frente al escaneo que evita.
Entorno
Snowflake en Azure con datos tick y de referencia de varios años, consultados por cargas de trabajo de análisis e informes.
Enfoque
AceMQ midió las particiones recorridas frente al total de particiones en los patrones de consulta dominantes de cada tabla grande, lo que da una lectura directa de la eficacia de la poda. Después, las claves de clustering candidatas se evaluaron tanto por el escaneo que evitarían como por los créditos de reclustering que consumirían.
Solución
- Medición de las particiones recorridas frente al total por patrón de consulta para cuantificar la eficacia real de la poda
- Comparación de las claves de clustering actuales con los predicados de filtrado que usan las consultas hoy, no en el momento del diseño
- Evaluación de las claves de clustering candidatas tanto por la reducción del escaneo como por el coste continuo en créditos de reclustering
- Evaluación de la profundidad de clustering en las tablas más grandes para identificar dónde el reclustering no seguía el ritmo
- Revisión del diseño de tablas para los casos en que las tablas particionadas o la search optimization encajan mejor que el clustering
- Recomendaciones por tabla con la reducción de escaneo prevista y el impacto en créditos indicados para cada una
Resultado final
El proveedor obtuvo una visión por tabla de dónde se había degradado la poda y cuánto le estaba costando, con recomendaciones sopesadas frente a los créditos de reclustering en lugar de presentarse como gratuitas. Se dio prioridad a las tablas más grandes, donde la recuperación de la poda redujo considerablemente las particiones recorridas.