Descripción general
Un operador de IoT industrial tenía tablas de ClickHouse que funcionaban bien al crearse y se degradaban de forma constante a medida que se acumulaban los datos de los sensores. Las consultas de los dashboards leían la mayor parte de cada tabla porque la clave de ordenamiento no coincidía con la forma en que se filtraban los datos. AceMQ rediseñó el esquema en función de la combinación real de consultas.
Desafío
El rendimiento de ClickHouse depende en gran medida de cuántos datos puede omitir una consulta, y eso se reduce al orden de la clave de ordenamiento, el particionamiento y la granularidad del índice. Las tablas existentes se habían creado con una clave de ordenamiento que ponía primero un identificador de alta cardinalidad, por lo que el índice primario disperso casi no permitía omitir datos con los filtros por rango de tiempo que aplicaba cada dashboard.
Entorno
Clúster de ClickHouse on-premises que almacena varios años de telemetría de sensores para los dashboards de monitoreo de planta.
Enfoque
AceMQ perfiló la combinación real de consultas y midió, por consulta, cuántos gránulos se leían frente a cuántos contenían filas coincidentes. Esa brecha guio el rediseño de la clave de ordenamiento y del particionamiento. Después, los codecs y la compresión se eligieron por columna según las características medidas de los datos, en lugar de usar los valores predeterminados.
Solución
- Perfilado de la combinación de consultas de los dashboards y medición de los gránulos leídos frente a los gránulos con coincidencias
- Reordenamiento de las claves de ordenamiento para que empiecen por las columnas que las consultas realmente filtran, lo que restableció la omisión de datos mediante el índice
- Elección de una granularidad de particiones que limita la cantidad de parts sin dejar de permitir la poda de particiones por rangos de tiempo
- Aplicación de codecs por columna, ajustados a las características medidas de los datos, para series temporales y columnas de baja cardinalidad
- Incorporación de vistas materializadas y tablas agregadas para los rollups recurrentes de los dashboards
- Definición de políticas de TTL para mover los datos antiguos a un almacenamiento más económico y expirarlos según un calendario documentado
Resultado final
Las consultas de los dashboards pasaron de escanear la mayor parte de cada tabla a leer una pequeña fracción, y los tiempos de respuesta habituales mejoraron aproximadamente en un orden de magnitud. Los cambios en los codecs y el TTL también redujeron de forma significativa el espacio de almacenamiento.