Descripción general
Un proveedor de datos de mercado estaba incorporando nuevos feeds de bolsas que multiplicarían el volumen almacenado. En lugar de escalar el clúster de forma proporcional, contrató a AceMQ para determinar qué partes realmente necesitaban crecer y cuáles estaban mal configuradas.
Desafío
Escalar bien ClickHouse exige saber qué recurso es el que realmente limita. El throughput de los merges, la concurrencia de consultas, la carga de coordinación de Keeper y el ancho de banda de almacenamiento fallan de maneras distintas y con frecuencia se confunden entre sí. El clúster existente nunca se había perfilado bajo carga sostenida, así que nadie sabía cuál llegaría primero a su límite.
Entorno
ClickHouse sobre hardware on-premises y almacenamiento de objetos en la nube, al servicio de consultas de datos de mercado históricos e intradía.
Enfoque
AceMQ perfiló el clúster bajo una carga sostenida representativa en lugar de benchmarks sintéticos, y siguió al mismo tiempo el throughput de los merges, las colas de consultas, la latencia de las solicitudes a Keeper y el ancho de banda de almacenamiento para ver cuál se saturaba primero. Los hallazgos se relacionaron con el aumento de volumen proyectado.
Solución
- Perfilado del clúster bajo una carga sostenida representativa para identificar qué recurso se satura primero
- Revisión de la topología de shards y réplicas frente a los requisitos de enrutamiento de consultas y de tolerancia a fallas
- Evaluación del despliegue de Keeper, la latencia de sus solicitudes y la carga de coordinación como una restricción de escalado en sí misma
- Evaluación de la configuración del almacenamiento por niveles y del traslado de las parts antiguas al almacenamiento de objetos
- Revisión de los límites de concurrencia de consultas, el comportamiento de las colas y los controles de recursos por usuario
- Entrega de un modelo de capacidad que vincula el volumen de datos proyectado con acciones de escalado específicas y su secuencia
Resultado final
El proveedor incorporó los nuevos feeds con un escalado focalizado en lugar de una ampliación proporcional del clúster. Dos restricciones que habrían llegado a su límite antes que el almacenamiento, la coordinación de Keeper y el throughput de los merges, se resolvieron antes del aumento.