Descripción general
Un proveedor de datos de mercado iba a incorporar nuevos feeds de bolsas que multiplicarían el volumen almacenado. En lugar de escalar el clúster de forma proporcional, contrató a AceMQ para determinar qué partes necesitaban crecer realmente y cuáles estaban mal configuradas.
Reto
Escalar bien ClickHouse exige saber qué recurso es el que realmente limita. El throughput de los merges, la concurrencia de consultas, la carga de coordinación de Keeper y el ancho de banda de almacenamiento fallan cada uno de forma distinta y a menudo se confunden entre sí. El clúster existente nunca se había perfilado bajo carga sostenida, así que nadie sabía cuál sería el primero en saturarse.
Entorno
ClickHouse sobre hardware on-premises y almacenamiento de objetos en la nube, atendiendo consultas de datos de mercado históricos e intradía.
Enfoque
AceMQ perfiló el clúster bajo una carga sostenida representativa en lugar de con benchmarks sintéticos, siguiendo a la vez el throughput de los merges, el encolado de consultas, la latencia de las peticiones a Keeper y el ancho de banda de almacenamiento para ver cuál se saturaba primero. Los hallazgos se cruzaron con el aumento de volumen previsto.
Solución
- Perfilado del clúster bajo una carga sostenida representativa para identificar qué recurso se satura primero
- Revisión de la topología de shards y réplicas frente a los requisitos de enrutamiento de consultas y tolerancia a fallos
- Evaluación del despliegue de Keeper, la latencia de sus peticiones y la carga de coordinación como restricción de escalado por derecho propio
- Evaluación de la configuración del almacenamiento por niveles y del traslado de las partes antiguas al almacenamiento de objetos
- Revisión de los límites de concurrencia de consultas, el comportamiento del encolado y los controles de recursos por usuario
- Entrega de un modelo de capacidad que vincula el volumen de datos previsto con acciones de escalado concretas y su secuencia
Resultado final
El proveedor incorporó los nuevos feeds con un escalado selectivo en lugar de ampliar el clúster de forma proporcional. Dos restricciones que habrían limitado antes que el almacenamiento, la coordinación de Keeper y el throughput de los merges, se resolvieron antes del aumento.