Visão geral
Um fornecedor de telemática usava uma tabela Cassandra como fila de trabalho, escrevendo linhas e eliminando-as depois de processadas. As queries de leitura começaram a dar timeout porque os coordenadores percorriam dezenas de milhares de tombstones para devolver meia dúzia de linhas válidas. A AceMQ foi chamada ao abrigo do SLA de emergência.
Desafio
Os tombstones continuam a ser lidos até decorrer o gc_grace_seconds e a compactação os remover, um mecanismo que existe para evitar que dados eliminados ressuscitem num nó que não recebeu a eliminação. Os repairs não estavam a concluir em todo o anel, pelo que baixar o gc_grace_seconds implicava um risco real de ressurreição. A equipa tinha andado a subir os limiares de aviso e de falha dos tombstones, o que escondia o sintoma enquanto o custo subjacente das leituras continuava a crescer.
Ambiente
Cluster Apache Cassandra multi-datacenter em bare metal, a ingerir telemetria de veículos em grande volume.
Abordagem
A AceMQ separou o alívio imediato da correção duradoura. Pôr o repair a concluir de forma fiável era um pré-requisito para qualquer alteração ao gc_grace_seconds, e a alteração ao modelo de dados era necessária porque uma fila numa partição larga gera tombstones mais depressa do que a compactação os consegue eliminar, sejam quais forem as definições.
Solução
- Identificação das partições e dos tipos de query concretos que percorriam o maior número de tombstones
- Reposição da conclusão fiável dos repairs em todo o anel, como pré-requisito para mexer no gc_grace_seconds
- Migração da carga de trabalho de fila do padrão de partição larga para partições por intervalos de tempo, com expiração baseada em TTL
- Mudança das tabelas afetadas para uma estratégia de compactação adequada ao padrão de escritas e eliminações
- Reversão dos limiares de tombstones que tinham sido subidos, para que a condição volte a ser visível em vez de ficar suprimida
- Compactação dirigida para eliminar o backlog de tombstones existente, numa janela controlada
Resultado final
Os timeouts de leitura nas tabelas afetadas terminaram e a latência de leitura p99 baixou substancialmente, à medida que o número de tombstones percorridos caiu várias ordens de grandeza. O repair passou a concluir dentro do calendário, o que também eliminou o risco de ressurreição que o cliente corria sem o saber.