Voltar para todos os casos de uso

SuporteServiços financeiros / pagamentos

Repair que termina, em um cronograma que você consegue comprovar

Processadora global de pagamentos

Suporte contínuo para um repair anti-entropia que nunca terminava dentro do gc_grace_seconds, deixando o cluster exposto à ressurreição de dados apagados.

Visão geral

Uma processadora de pagamentos rodava o repair como um cron job que disparava um repair completo em todos os keyspaces. As execuções passavam regularmente da janela do gc_grace_seconds, se sobrepunham umas às outras e eram interrompidas quando saturavam o I/O do cluster. Ninguém sabia dizer quando o ring tinha sido totalmente reparado pela última vez. A AceMQ assumiu o suporte com engenheiros sêniores designados.

Desafio

Um repair que não termina dentro do gc_grace_seconds não é um problema de manutenção de rotina: significa que dados apagados podem voltar depois que a compaction elimina os tombstones em algumas réplicas, mas não em outras. Repairs completos em um ring grande e multi-datacenter eram caros demais para terminar, e o streaming que disparavam competia diretamente com o tráfego de produção.

Ambiente

Apache Cassandra multi-datacenter, distribuído entre on-premises e nuvem, sustentando dados de razão de transações e de liquidação.

Abordagem

A AceMQ substituiu o repair do ring inteiro por um repair incremental, segmentado e agendado, que podia ser dosado conforme a folga disponível no cluster e retomado após interrupções. A estratégia e as configurações de throughput de compaction foram reajustadas tabela por tabela, para que repair e compaction parassem de disputar o mesmo I/O.

Solução

  1. Substituição dos repairs completos disparados por cron por um orquestrador de repair segmentado e agendado, que retoma em vez de recomeçar
  2. Dosagem do repair conforme a folga disponível no cluster, para que ele não saturasse mais o I/O no horário comercial
  3. Reajuste da estratégia de compaction de cada tabela com base nos padrões reais de leitura, escrita e delete, e não no padrão de fábrica
  4. Ajuste do throughput de compaction e do número de compactors simultâneos de acordo com o armazenamento subjacente
  5. Instrumentação do tempo de conclusão do repair por keyspace em relação ao gc_grace_seconds, como métrica acompanhada e com alertas
  6. Escalonamento 24/7 direto para engenheiros sêniores de Cassandra, sem triagem de nível 1 no caminho

Resultado obtido

O repair agora termina com folga dentro do gc_grace_seconds em todos os keyspaces, e a conclusão é acompanhada como métrica, em vez de presumida. O risco de ressurreição de dados que o cluster vinha carregando foi eliminado, e o repair não degrada mais a latência de produção enquanto roda.

Tecnologias

Apache CassandraReaperPrometheusKubernetes

Precisa de suporte especializado em Apache Cassandra?

Os engenheiros Apache Cassandra sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.