Visão geral
Um provedor de telemetria usava uma tabela do Cassandra como fila de trabalho, escrevendo linhas e apagando-as depois do processamento. As consultas de leitura começaram a dar timeout enquanto os coordenadores varriam dezenas de milhares de tombstones para devolver um punhado de linhas vivas. A AceMQ foi acionada pelo SLA emergencial.
Desafio
Os tombstones continuam sendo lidos até o gc_grace_seconds expirar e a compaction removê-los, um mecanismo que existe para impedir que dados apagados ressuscitem em um nó que perdeu o delete. Os repairs não vinham sendo concluídos no ring, então reduzir o gc_grace_seconds trazia um risco real de ressurreição de dados. A equipe vinha aumentando os limites de aviso e de falha para tombstones, o que escondia o sintoma enquanto o custo real da varredura continuava crescendo.
Ambiente
Cluster Apache Cassandra multi-datacenter em bare metal, ingerindo telemetria de veículos em alto volume.
Abordagem
A AceMQ separou o trabalho de alívio imediato da correção definitiva. Fazer o repair ser concluído de forma confiável era pré-requisito para qualquer mudança no gc_grace_seconds, e a mudança no modelo de dados era necessária porque uma fila em uma partição larga gera tombstones mais rápido do que a compaction consegue eliminá-los, independentemente das configurações.
Solução
- Identificação das partições e dos formatos de consulta específicos que varriam as maiores quantidades de tombstones
- Restabelecimento da conclusão confiável dos repairs no ring, como pré-requisito para mexer no gc_grace_seconds
- Migração da carga de fila do padrão de partição larga para partições por intervalo de tempo, com expiração baseada em TTL
- Troca das tabelas afetadas para uma estratégia de compaction adequada ao padrão de escrita e de delete
- Reversão dos limites de tombstones que tinham sido aumentados, para que a condição volte a aparecer em vez de ficar escondida
- Execução de uma compaction direcionada para eliminar o backlog de tombstones existente durante uma janela controlada
Resultado obtido
Os timeouts de leitura nas tabelas afetadas acabaram, e a latência de leitura p99 caiu de forma expressiva à medida que a quantidade de tombstones varridos diminuiu em ordens de grandeza. O repair agora é concluído no prazo, o que também eliminou o risco de ressurreição de dados que o cliente vinha carregando sem saber.