Visão geral
Um provedor de dados de mercado estava incorporando novos feeds de bolsas que multiplicariam o volume armazenado. Em vez de escalar o cluster proporcionalmente, ele contratou a AceMQ para determinar quais partes realmente precisavam crescer e quais estavam mal configuradas.
Desafio
Escalar bem o ClickHouse exige saber qual recurso realmente é o gargalo. Throughput de merges, concorrência de consultas, carga de coordenação do Keeper e largura de banda de armazenamento falham de maneiras diferentes e muitas vezes são confundidos entre si. O cluster existente nunca tinha sido analisado sob carga sustentada, então ninguém sabia qual deles atingiria o limite primeiro.
Ambiente
ClickHouse distribuído entre hardware on-premises e object storage em nuvem, atendendo a consultas de dados de mercado históricos e intradiários.
Abordagem
A AceMQ analisou o cluster sob uma carga sustentada representativa, e não com benchmarks sintéticos, acompanhando simultaneamente o throughput de merges, as filas de consultas, a latência das requisições ao Keeper e a largura de banda de armazenamento para ver qual saturava primeiro. Os achados foram relacionados ao aumento de volume projetado.
Solução
- Análise do cluster sob carga sustentada representativa para identificar qual recurso satura primeiro
- Revisão da topologia de shards e réplicas em relação aos requisitos de roteamento de consultas e de tolerância a falhas
- Avaliação do deployment do Keeper, da latência das requisições e da carga de coordenação como uma restrição de escalabilidade por si só
- Avaliação da configuração de tiered storage e da movimentação das parts antigas para o object storage
- Revisão dos limites de concorrência de consultas, do comportamento das filas e dos controles de recursos por usuário
- Entrega de um modelo de capacidade que relaciona o volume de dados projetado a ações de escalabilidade específicas e à sua sequência
Resultado obtido
O provedor incorporou os novos feeds com uma escalabilidade direcionada, e não com uma expansão proporcional do cluster. Duas restrições que teriam virado gargalo antes do armazenamento (a coordenação do Keeper e o throughput de merges) foram tratadas antes do aumento.