Visão geral
Um organismo do setor público operava um cluster Cassandra herdado de um projeto com um fornecedor que tinha terminado anos antes. A documentação era escassa e a equipa de operação nunca tinha recebido uma linha de base. A AceMQ avaliou o cluster face à carga de trabalho atual e ao crescimento previsto.
Desafio
Avaliar um cluster herdado implica separar as escolhas de desenho deliberadas dos acasos acumulados. Era preciso confrontar o fator de replicação e os níveis de consistência com a durabilidade de que o organismo realmente precisava, verificar a distribuição dos tokens à procura de hot spots e medir o comportamento da JVM e do garbage collection sob carga real, em vez de o deduzir a partir das definições.
Ambiente
Cluster Apache Cassandra on-premises de suporte a cargas de trabalho de gestão de processos e de conservação de registos.
Abordagem
A AceMQ recolheu dados do cluster em funcionamento — posse dos tokens, distribuição da carga por nó, distribuição das pausas de garbage collection, backlog de compactação e filas de tarefas pendentes — e avaliou-os face aos requisitos de durabilidade e disponibilidade do organismo. As conclusões foram ordenadas pela proximidade de cada uma a provocar um incidente.
Solução
- Verificação da posse dos tokens e da distribuição da carga por nó para identificar hot spots e nós desequilibrados
- Revisão do fator de replicação e dos níveis de consistência face aos requisitos reais de durabilidade do organismo
- Medição da distribuição das pausas de garbage collection e do comportamento do heap sob carga de produção
- Avaliação do backlog de compactação, das tarefas pendentes e do número de SSTables por tabela, à procura de dívida acumulada
- Avaliação da cobertura das reparações e do histórico da sua conclusão face ao gc_grace_seconds
- Projeção da margem de capacidade face ao crescimento e entrega de um roteiro de correções ordenado por risco
Resultado final
O organismo recebeu uma linha de base que nunca tinha tido, com os pontos mais próximos de provocar uma indisponibilidade identificados e sequenciados. Em consequência, foram corrigidas várias opções de configuração herdadas, incluindo níveis de consistência que não correspondiam ao requisito de durabilidade definido.