Visão geral
Uma processadora de pagamentos rodava o repair como um cron job que disparava um repair completo em todos os keyspaces. As execuções passavam regularmente da janela do gc_grace_seconds, se sobrepunham umas às outras e eram interrompidas quando saturavam o I/O do cluster. Ninguém sabia dizer quando o ring tinha sido totalmente reparado pela última vez. A AceMQ assumiu o suporte com engenheiros sêniores designados.
Desafio
Um repair que não termina dentro do gc_grace_seconds não é um problema de manutenção de rotina: significa que dados apagados podem voltar depois que a compaction elimina os tombstones em algumas réplicas, mas não em outras. Repairs completos em um ring grande e multi-datacenter eram caros demais para terminar, e o streaming que disparavam competia diretamente com o tráfego de produção.
Ambiente
Apache Cassandra multi-datacenter, distribuído entre on-premises e nuvem, sustentando dados de razão de transações e de liquidação.
Abordagem
A AceMQ substituiu o repair do ring inteiro por um repair incremental, segmentado e agendado, que podia ser dosado conforme a folga disponível no cluster e retomado após interrupções. A estratégia e as configurações de throughput de compaction foram reajustadas tabela por tabela, para que repair e compaction parassem de disputar o mesmo I/O.
Solução
- Substituição dos repairs completos disparados por cron por um orquestrador de repair segmentado e agendado, que retoma em vez de recomeçar
- Dosagem do repair conforme a folga disponível no cluster, para que ele não saturasse mais o I/O no horário comercial
- Reajuste da estratégia de compaction de cada tabela com base nos padrões reais de leitura, escrita e delete, e não no padrão de fábrica
- Ajuste do throughput de compaction e do número de compactors simultâneos de acordo com o armazenamento subjacente
- Instrumentação do tempo de conclusão do repair por keyspace em relação ao gc_grace_seconds, como métrica acompanhada e com alertas
- Escalonamento 24/7 direto para engenheiros sêniores de Cassandra, sem triagem de nível 1 no caminho
Resultado obtido
O repair agora termina com folga dentro do gc_grace_seconds em todos os keyspaces, e a conclusão é acompanhada como métrica, em vez de presumida. O risco de ressurreição de dados que o cluster vinha carregando foi eliminado, e o repair não degrada mais a latência de produção enquanto roda.