Voltar a todos os casos de utilização

CorreçãoProdução / Automóvel

Corrigir o padrão de acesso, e não apenas subir o limiar de tombstones

Fornecedor de telemática para veículos conectados

Resolução de timeouts de leitura provocados pela acumulação de tombstones em partições usadas como fila, onde as eliminações ultrapassavam o ritmo da compactação e do gc_grace_seconds.

Visão geral

Um fornecedor de telemática usava uma tabela Cassandra como fila de trabalho, escrevendo linhas e eliminando-as depois de processadas. As queries de leitura começaram a dar timeout porque os coordenadores percorriam dezenas de milhares de tombstones para devolver meia dúzia de linhas válidas. A AceMQ foi chamada ao abrigo do SLA de emergência.

Desafio

Os tombstones continuam a ser lidos até decorrer o gc_grace_seconds e a compactação os remover, um mecanismo que existe para evitar que dados eliminados ressuscitem num nó que não recebeu a eliminação. Os repairs não estavam a concluir em todo o anel, pelo que baixar o gc_grace_seconds implicava um risco real de ressurreição. A equipa tinha andado a subir os limiares de aviso e de falha dos tombstones, o que escondia o sintoma enquanto o custo subjacente das leituras continuava a crescer.

Ambiente

Cluster Apache Cassandra multi-datacenter em bare metal, a ingerir telemetria de veículos em grande volume.

Abordagem

A AceMQ separou o alívio imediato da correção duradoura. Pôr o repair a concluir de forma fiável era um pré-requisito para qualquer alteração ao gc_grace_seconds, e a alteração ao modelo de dados era necessária porque uma fila numa partição larga gera tombstones mais depressa do que a compactação os consegue eliminar, sejam quais forem as definições.

Solução

  1. Identificação das partições e dos tipos de query concretos que percorriam o maior número de tombstones
  2. Reposição da conclusão fiável dos repairs em todo o anel, como pré-requisito para mexer no gc_grace_seconds
  3. Migração da carga de trabalho de fila do padrão de partição larga para partições por intervalos de tempo, com expiração baseada em TTL
  4. Mudança das tabelas afetadas para uma estratégia de compactação adequada ao padrão de escritas e eliminações
  5. Reversão dos limiares de tombstones que tinham sido subidos, para que a condição volte a ser visível em vez de ficar suprimida
  6. Compactação dirigida para eliminar o backlog de tombstones existente, numa janela controlada

Resultado final

Os timeouts de leitura nas tabelas afetadas terminaram e a latência de leitura p99 baixou substancialmente, à medida que o número de tombstones percorridos caiu várias ordens de grandeza. O repair passou a concluir dentro do calendário, o que também eliminou o risco de ressurreição que o cliente corria sem o saber.

Tecnologias

Apache CassandraKubernetesPrometheusLinux

Tem um problema de produção com Apache Cassandra?

Os engenheiros seniores de Apache Cassandra da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.