Visão geral
Um órgão do setor público operava um cluster Cassandra herdado de um contrato com um fornecedor que havia terminado anos antes. A documentação era escassa e a equipe de operação nunca tinha recebido uma linha de base. A AceMQ avaliou o cluster em relação à carga de trabalho atual e ao crescimento projetado.
Desafio
Avaliar um cluster herdado significa separar decisões de design deliberadas de acidentes acumulados. Era preciso conferir o replication factor e os níveis de consistência em relação à durabilidade de que o órgão realmente precisava, verificar a distribuição dos tokens em busca de hot spots e medir o comportamento da JVM e do garbage collection sob carga real, em vez de deduzi-lo a partir das configurações.
Ambiente
Cluster Apache Cassandra on-premises que atende cargas de gestão de processos e retenção de registros.
Abordagem
A AceMQ coletou evidências do cluster em execução (posse dos tokens, distribuição de carga por nó, distribuição das pausas de garbage collection, backlog de compactação e filas de tarefas pendentes) e as avaliou em relação aos requisitos de durabilidade e disponibilidade do órgão. Os achados foram classificados por quão perto cada um estava de causar um incidente.
Solução
- Verificação da posse dos tokens e da distribuição de carga por nó para identificar hot spots e nós desbalanceados
- Revisão do replication factor e dos níveis de consistência em relação aos requisitos reais de durabilidade do órgão
- Medição da distribuição das pausas de garbage collection e do comportamento do heap sob carga de produção
- Avaliação do backlog de compactação, das tarefas pendentes e do número de SSTables por tabela em busca de dívida acumulada
- Avaliação da cobertura de repair e do histórico de conclusão em relação ao gc_grace_seconds
- Projeção da folga de capacidade em relação ao crescimento e entrega de um roadmap de correções ordenado por risco
Resultado obtido
O órgão recebeu uma linha de base que nunca tinha tido, com os itens mais próximos de causar uma indisponibilidade identificados e sequenciados. Como resultado, várias configurações herdadas foram corrigidas, incluindo níveis de consistência que não correspondiam ao requisito de durabilidade declarado.