Volver a todos los casos de uso

ConsultoríaIndustria / Fabricación

Claves de ordenación y projections que reducen el escaneo

Operador de una plataforma de IoT industrial

Rediseño de las claves ORDER BY, el particionado, los codecs y las vistas materializadas para que las consultas de los dashboards lean una pequeña fracción de los datos en lugar de hacer escaneos completos.

Descripción general

Un operador de IoT industrial tenía tablas de ClickHouse que rendían bien al crearlas y se degradaban de forma constante a medida que se acumulaban los datos de los sensores. Las consultas de los dashboards leían la mayor parte de cada tabla porque la clave de ordenación no se correspondía con la forma en que se filtraban los datos. AceMQ rediseñó el esquema en torno a la combinación real de consultas.

Reto

El rendimiento de ClickHouse depende en gran medida de cuántos datos puede saltarse una consulta, y eso se reduce al orden de la clave de ordenación, el particionado y la granularidad del índice. Las tablas existentes se habían creado con una clave de ordenación que ponía en primer lugar un identificador de alta cardinalidad, de modo que el índice primario disperso apenas permitía saltar datos con los filtros por rango temporal que aplicaban todos los dashboards.

Entorno

Clúster de ClickHouse on-premises que almacena varios años de telemetría de sensores para los dashboards de supervisión de planta.

Enfoque

AceMQ perfiló la combinación real de consultas y midió, para cada una, cuántos gránulos se leían frente a cuántos contenían filas coincidentes. Esa diferencia guio el rediseño de la clave de ordenación y del particionado. Después se eligieron los codecs y la compresión de cada columna según las características medidas de los datos y no según los valores por defecto.

Solución

  1. Perfilado de la combinación de consultas de los dashboards y medición de los gránulos leídos frente a los gránulos con coincidencias
  2. Reordenación de las claves de ordenación para empezar por las columnas por las que realmente filtran las consultas, recuperando el salto de datos del índice
  3. Elección de una granularidad de particiones que acota el número de partes y sigue permitiendo la poda de particiones por rangos temporales
  4. Codecs por columna ajustados a las características medidas de los datos para series temporales y columnas de baja cardinalidad
  5. Introducción de vistas materializadas y tablas de agregados para los resúmenes recurrentes de los dashboards
  6. Definición de políticas de TTL para trasladar los datos antiguos a un almacenamiento más barato y expirarlos según un calendario documentado

Resultado final

Las consultas de los dashboards pasaron de escanear la mayor parte de cada tabla a leer una pequeña fracción, y los tiempos de respuesta habituales mejoraron aproximadamente en un orden de magnitud. Los cambios de codecs y de TTL también redujeron de forma notable la huella de almacenamiento.

Tecnologías

ClickHouseKafkaGrafanaLinux

¿Necesita asesoramiento de arquitectura para ClickHouse?

Los ingenieros sénior de ClickHouse de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.