Voltar a todos os casos de utilização

ConsultoriaTransversal a vários setores

Modelar para as consultas que realmente executa

Fornecedor de serviços de identidade digital

Redesenho das partition keys e da ordem de clustering para eliminar partições ilimitadas e retirar as consultas por índices secundários que atingiam todos os nós.

Visão geral

Um fornecedor de serviços de identidade tinha modelado as tabelas Cassandra como teria modelado tabelas relacionais e, depois, acrescentado índices secundários para cobrir as consultas que a chave primária não servia. Algumas partições tinham crescido até aos gigabytes, e as consultas apoiadas em índices espalhavam-se por todos os nós do anel. A AceMQ foi contratada para redesenhar o modelo.

Desafio

O Cassandra recompensa a modelação em torno dos padrões de consulta e penaliza a modelação em torno das entidades. O redesenho tinha de limitar o crescimento das partições, manter as consultas dominantes da plataforma servidas por um único conjunto de réplicas e poder ser adotado de forma incremental — o fornecedor não podia parar as escritas para reconstruir as tabelas por inteiro.

Ambiente

Apache Cassandra em Kubernetes, a suportar os serviços de verificação de identidade e de ciclo de vida de credenciais.

Abordagem

A AceMQ inventariou todas as consultas emitidas pela aplicação e partiu delas para chegar às tabelas necessárias para as servir, aceitando a desnormalização sempre que eliminava o fan-out. O dimensionamento das partições foi projetado para vários anos de crescimento, e não para o volume atual, e a migração foi desenhada para correr com escritas duplas, de modo que o cutover não exigisse qualquer janela.

Solução

  1. Inventário dos padrões reais de consulta da aplicação e derivação, a partir deles, dos desenhos de tabela necessários
  2. Introdução de bucketing temporal e por hash para limitar o crescimento das partições face às projeções a vários anos
  3. Substituição das consultas por índices secundários por tabelas desnormalizadas criadas para o efeito, eliminando o fan-out em todo o cluster
  4. Escolha das clustering keys e da ordenação para servir range scans e paginação sem ordenação em memória
  5. Desenho de um caminho de migração com escritas duplas e backfill, para que o cutover não exigisse congelar as escritas
  6. Definição de limites de tamanho de partição e de número de linhas, com monitorização, para detetar regressões em desenvolvimentos futuros

Resultado final

As consultas com fan-out em todo o cluster foram eliminadas do caminho crítico e as maiores partições voltaram a ficar a menos de uma ordem de grandeza do teto recomendado. A latência de leitura passou a ser previsível em todo o espaço de chaves, em vez de variar com o tamanho das partições.

Tecnologias

Apache CassandraKubernetesKafkaPrometheus

Precisa de orientação de arquitetura Apache Cassandra?

Os engenheiros seniores de Apache Cassandra da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.