Voltar para todos os casos de uso

CorreçãoManufatura / automotivo

Corrigir o padrão de acesso, e não só aumentar o limite de tombstones

Provedor de telemetria para veículos conectados

Resolução de timeouts de leitura causados pelo acúmulo de tombstones em partições usadas como fila, onde os deletes superavam a compaction e o gc_grace_seconds.

Visão geral

Um provedor de telemetria usava uma tabela do Cassandra como fila de trabalho, escrevendo linhas e apagando-as depois do processamento. As consultas de leitura começaram a dar timeout enquanto os coordenadores varriam dezenas de milhares de tombstones para devolver um punhado de linhas vivas. A AceMQ foi acionada pelo SLA emergencial.

Desafio

Os tombstones continuam sendo lidos até o gc_grace_seconds expirar e a compaction removê-los, um mecanismo que existe para impedir que dados apagados ressuscitem em um nó que perdeu o delete. Os repairs não vinham sendo concluídos no ring, então reduzir o gc_grace_seconds trazia um risco real de ressurreição de dados. A equipe vinha aumentando os limites de aviso e de falha para tombstones, o que escondia o sintoma enquanto o custo real da varredura continuava crescendo.

Ambiente

Cluster Apache Cassandra multi-datacenter em bare metal, ingerindo telemetria de veículos em alto volume.

Abordagem

A AceMQ separou o trabalho de alívio imediato da correção definitiva. Fazer o repair ser concluído de forma confiável era pré-requisito para qualquer mudança no gc_grace_seconds, e a mudança no modelo de dados era necessária porque uma fila em uma partição larga gera tombstones mais rápido do que a compaction consegue eliminá-los, independentemente das configurações.

Solução

  1. Identificação das partições e dos formatos de consulta específicos que varriam as maiores quantidades de tombstones
  2. Restabelecimento da conclusão confiável dos repairs no ring, como pré-requisito para mexer no gc_grace_seconds
  3. Migração da carga de fila do padrão de partição larga para partições por intervalo de tempo, com expiração baseada em TTL
  4. Troca das tabelas afetadas para uma estratégia de compaction adequada ao padrão de escrita e de delete
  5. Reversão dos limites de tombstones que tinham sido aumentados, para que a condição volte a aparecer em vez de ficar escondida
  6. Execução de uma compaction direcionada para eliminar o backlog de tombstones existente durante uma janela controlada

Resultado obtido

Os timeouts de leitura nas tabelas afetadas acabaram, e a latência de leitura p99 caiu de forma expressiva à medida que a quantidade de tombstones varridos diminuiu em ordens de grandeza. O repair agora é concluído no prazo, o que também eliminou o risco de ressurreição de dados que o cliente vinha carregando sem saber.

Tecnologias

Apache CassandraKubernetesPrometheusLinux

Enfrentando um problema de produção com Apache Cassandra?

Os engenheiros Apache Cassandra sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.