Voltar para todos os casos de uso

ConsultoriaMultissetorial

Modelar para as consultas que você realmente executa

Provedor de serviços de identidade digital

Redesenho das partition keys e da ordem de clustering para eliminar partições sem limite de crescimento e acabar com consultas por índice secundário que atingiam todos os nós.

Visão geral

Um provedor de serviços de identidade havia modelado as tabelas do Cassandra como faria com tabelas relacionais e depois acrescentado índices secundários para cobrir as consultas que a primary key não atendia. Algumas partições tinham crescido até a casa dos gigabytes, e as consultas apoiadas em índices se espalhavam por todos os nós do anel. A AceMQ foi contratada para redesenhar o modelo.

Desafio

O Cassandra recompensa a modelagem baseada nos padrões de consulta e pune a modelagem baseada em entidades. O redesenho precisava limitar o crescimento das partições, manter as consultas predominantes da plataforma atendidas por um único conjunto de réplicas e ser adotado de forma incremental, já que o provedor não podia interromper as escritas para reconstruir as tabelas de uma vez.

Ambiente

Apache Cassandra no Kubernetes dando suporte a serviços de verificação de identidade e de ciclo de vida de credenciais.

Abordagem

A AceMQ inventariou todas as consultas emitidas pela aplicação e trabalhou de trás para frente até chegar às tabelas necessárias para atendê-las, aceitando a desnormalização onde ela eliminava o fan-out. O tamanho das partições foi projetado para vários anos de crescimento, e não para o volume atual, e a migração foi desenhada para rodar com escrita dupla, para que o cutover não exigisse nenhuma janela.

Solução

  1. Inventário dos padrões reais de consulta da aplicação e definição, a partir deles, dos designs de tabela necessários
  2. Introdução de bucketing por tempo e por hash para limitar o crescimento das partições com base em projeções de vários anos
  3. Substituição das consultas por índice secundário por tabelas desnormalizadas feitas sob medida, eliminando o fan-out em todo o cluster
  4. Escolha das clustering keys e da ordenação para atender range scans e paginação sem ordenação em memória
  5. Desenho de um caminho de migração com escrita dupla e backfill, para que o cutover não exigisse congelar as escritas
  6. Definição de limites de tamanho de partição e de número de linhas, com monitoramento para detectar regressões em desenvolvimentos futuros

Resultado obtido

As consultas com fan-out em todo o cluster foram eliminadas do caminho crítico, e as maiores partições voltaram a ficar dentro de uma ordem de grandeza do limite recomendado. A latência de leitura se tornou previsível em todo o espaço de chaves, em vez de variar com o tamanho das partições.

Tecnologias

Apache CassandraKubernetesKafkaPrometheus

Precisa de orientação de arquitetura para Apache Cassandra?

Os engenheiros Apache Cassandra sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.