Visão geral
Um fornecedor de serviços de identidade tinha modelado as tabelas Cassandra como teria modelado tabelas relacionais e, depois, acrescentado índices secundários para cobrir as consultas que a chave primária não servia. Algumas partições tinham crescido até aos gigabytes, e as consultas apoiadas em índices espalhavam-se por todos os nós do anel. A AceMQ foi contratada para redesenhar o modelo.
Desafio
O Cassandra recompensa a modelação em torno dos padrões de consulta e penaliza a modelação em torno das entidades. O redesenho tinha de limitar o crescimento das partições, manter as consultas dominantes da plataforma servidas por um único conjunto de réplicas e poder ser adotado de forma incremental — o fornecedor não podia parar as escritas para reconstruir as tabelas por inteiro.
Ambiente
Apache Cassandra em Kubernetes, a suportar os serviços de verificação de identidade e de ciclo de vida de credenciais.
Abordagem
A AceMQ inventariou todas as consultas emitidas pela aplicação e partiu delas para chegar às tabelas necessárias para as servir, aceitando a desnormalização sempre que eliminava o fan-out. O dimensionamento das partições foi projetado para vários anos de crescimento, e não para o volume atual, e a migração foi desenhada para correr com escritas duplas, de modo que o cutover não exigisse qualquer janela.
Solução
- Inventário dos padrões reais de consulta da aplicação e derivação, a partir deles, dos desenhos de tabela necessários
- Introdução de bucketing temporal e por hash para limitar o crescimento das partições face às projeções a vários anos
- Substituição das consultas por índices secundários por tabelas desnormalizadas criadas para o efeito, eliminando o fan-out em todo o cluster
- Escolha das clustering keys e da ordenação para servir range scans e paginação sem ordenação em memória
- Desenho de um caminho de migração com escritas duplas e backfill, para que o cutover não exigisse congelar as escritas
- Definição de limites de tamanho de partição e de número de linhas, com monitorização, para detetar regressões em desenvolvimentos futuros
Resultado final
As consultas com fan-out em todo o cluster foram eliminadas do caminho crítico e as maiores partições voltaram a ficar a menos de uma ordem de grandeza do teto recomendado. A latência de leitura passou a ser previsível em todo o espaço de chaves, em vez de variar com o tamanho das partições.