Voltar para todos os casos de uso

AvaliaçãoServiços financeiros / trading

Saber onde o cluster vai chegar ao limite antes que os dados cheguem

Provedor de dados de mercado financeiro

Avaliação da topologia de shards e réplicas, do tiering de armazenamento, dos limites de concorrência de consultas e do comportamento de merges antes de um aumento significativo no volume de dados.

Visão geral

Um provedor de dados de mercado estava incorporando novos feeds de bolsas que multiplicariam o volume armazenado. Em vez de escalar o cluster proporcionalmente, ele contratou a AceMQ para determinar quais partes realmente precisavam crescer e quais estavam mal configuradas.

Desafio

Escalar bem o ClickHouse exige saber qual recurso realmente é o gargalo. Throughput de merges, concorrência de consultas, carga de coordenação do Keeper e largura de banda de armazenamento falham de maneiras diferentes e muitas vezes são confundidos entre si. O cluster existente nunca tinha sido analisado sob carga sustentada, então ninguém sabia qual deles atingiria o limite primeiro.

Ambiente

ClickHouse distribuído entre hardware on-premises e object storage em nuvem, atendendo a consultas de dados de mercado históricos e intradiários.

Abordagem

A AceMQ analisou o cluster sob uma carga sustentada representativa, e não com benchmarks sintéticos, acompanhando simultaneamente o throughput de merges, as filas de consultas, a latência das requisições ao Keeper e a largura de banda de armazenamento para ver qual saturava primeiro. Os achados foram relacionados ao aumento de volume projetado.

Solução

  1. Análise do cluster sob carga sustentada representativa para identificar qual recurso satura primeiro
  2. Revisão da topologia de shards e réplicas em relação aos requisitos de roteamento de consultas e de tolerância a falhas
  3. Avaliação do deployment do Keeper, da latência das requisições e da carga de coordenação como uma restrição de escalabilidade por si só
  4. Avaliação da configuração de tiered storage e da movimentação das parts antigas para o object storage
  5. Revisão dos limites de concorrência de consultas, do comportamento das filas e dos controles de recursos por usuário
  6. Entrega de um modelo de capacidade que relaciona o volume de dados projetado a ações de escalabilidade específicas e à sua sequência

Resultado obtido

O provedor incorporou os novos feeds com uma escalabilidade direcionada, e não com uma expansão proporcional do cluster. Duas restrições que teriam virado gargalo antes do armazenamento (a coordenação do Keeper e o throughput de merges) foram tratadas antes do aumento.

Tecnologias

ClickHouseClickHouse KeeperS3Prometheus

Pronto para um health check do ClickHouse?

Os engenheiros ClickHouse sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.