BlogKafka

Recuperação de desastres no Kafka: estratégias multirregião, arquiteturas e trade-offs de RPO/RTO

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 10 min de leitura

Recuperação de desastres no Kafka: estratégias multirregião, arquiteturas e trade-offs de RPO/RTO
On this page

Para montar a recuperação de desastres do Kafka, você implanta um segundo cluster Kafka em um domínio de falha independente (outra região ou outro data center), replica continuamente para ele os tópicos e os offsets dos consumer groups com ferramentas como Kafka MirrorMaker 2, Confluent Replicator ou AWS MSK Replicator, e mantém um runbook de failover testado que redireciona produtores e consumidores para o cluster de destino. A arquitetura que você escolhe (active-passive, active-active ou stretch cluster) é determinada por dois números: o seu recovery point objective (quanta perda de dados você tolera) e o seu recovery time objective (com que rapidez precisa restaurar o serviço). Todo o resto de um plano de recuperação de desastres do Kafka decorre desses dois requisitos de negócio.

Este guia percorre as principais arquiteturas de recuperação de desastres com Kafka, os trade-offs entre elas e as armadilhas operacionais (principalmente a tradução de offsets) que separam um plano bonito no papel de um que realmente sobrevive a um cenário de desastre.

Por que um único cluster Kafka não é uma estratégia de DR

O Apache Kafka costuma ser descrito como tolerante a falhas, e, dentro de um único cluster, isso é verdade. Com fator de replicação 3, o Kafka distribui os dados das partições entre vários brokers, então a perda de um ou dois brokers dentro de um cluster não causa perda de dados. A eleição de líder promove réplicas in-sync automaticamente, e uma implantação bem configurada absorve sem problemas as falhas rotineiras de brokers.

Mas a replicação nativa protege você dentro de um único domínio de falha. Um único cluster, mesmo que abranja vários racks, vive em uma região, em uma rede, em um mesmo raio de impacto administrativo. Ele não protege contra a perda de uma região inteira, a exclusão acidental de um tópico, uma mudança errada de ACL, um quorum KRaft corrompido ou uma indisponibilidade do provedor de nuvem. Alta disponibilidade e recuperação de desastres são disciplinas diferentes: a HA mantém o cluster rodando apesar de falhas de componentes; o DR restaura o serviço Kafka depois que o ambiente inteiro se foi.

Para equipes que rodam pipelines de dados em tempo real dos quais o negócio depende, essa distinção é a base do planejamento de continuidade de negócios. Se o Kafka é a espinha dorsal de pagamentos, logística ou detecção de fraudes, um downtime medido em horas não é um resultado aceitável, e descartar eventos silenciosamente também não.

Comece pelo RPO e pelo RTO, não pelas ferramentas

Antes de comparar ferramentas de replicação, defina dois números com o negócio:

  • Recovery point objective (RPO): a perda máxima de dados aceitável, medida em tempo. Um RPO de cinco minutos significa que você pode perder até cinco minutos de dados do Kafka em um desastre.
  • Recovery time objective (RTO): o tempo máximo aceitável para restaurar o serviço. Um RTO de 30 minutos significa que consumidores e produtores precisam voltar a fluir em até meia hora.

Essas metas determinam o custo. A replicação assíncrona entre regiões dá um RPO igual ao seu atraso de replicação (normalmente de segundos a minutos) a um custo moderado. Chegar a RPO zero, ou seja, failover sem perda de dados, exige replicação síncrona, o que significa pagar uma penalidade de latência em cada requisição de produce e rodar a infraestrutura em várias zonas de disponibilidade com links rápidos. O tempo de recuperação que você consegue atingir depende menos das ferramentas e mais de quão automatizado e bem ensaiado é o seu procedimento de failover.

Seja honesto em relação a cada carga de trabalho. Um cluster que transporta analytics de clickstream tolera um ponto de recuperação mais folgado do que um que transporta transações financeiras. Muitas equipes acabam adotando planos de recuperação em camadas: RPO/RTO rigorosos para um pequeno conjunto de tópicos críticos e metas mais folgadas para todo o resto.

Arquiteturas de recuperação de desastres do Kafka

Há quatro padrões muito usados para a recuperação de desastres do Apache Kafka®. A maioria das implantações em produção usa um dos dois primeiros.

Active-passive com MirrorMaker 2

A estratégia mais comum de DR para Kafka é um par active-passive: um cluster primário atende todo o tráfego enquanto o MirrorMaker 2 (MM2), que vem com o Apache Kafka e roda sobre o framework Kafka Connect, replica de forma assíncrona tópicos, configurações e offsets dos consumidores para um cluster standby em outra região ou outro datacenter.

Em operação normal, o cluster passivo recebe os dados replicados, mas não atende clientes. Em um cenário de desastre, você faz o failover: aponta produtores e consumidores para o standby, promove-o a primário e segue em frente. O RPO é igual ao atraso de replicação; o RTO depende da rapidez com que os clientes podem ser redirecionados. Com endereços de bootstrap baseados em DNS e automação ensaiada, isso pode levar minutos.

O active-passive é popular porque é conceitualmente simples, funciona com ferramentas open source e mantém o cluster standby barato (ele pode ser menor até ser promovido). As fraquezas são assimétricas: o failback depois que o desastre passa costuma ser mais difícil que o failover, e uma sincronização de offsets não testada pode quebrar silenciosamente a retomada dos consumidores. Falaremos mais sobre isso abaixo.

Kafka active-active

Em uma topologia Kafka active-active, dois (ou mais) clusters em regiões diferentes atendem tráfego ao vivo, cada um replicando para o outro, geralmente com MM2 ou Confluent Cluster Linking. Os clientes de cada região produzem e consomem localmente, o que reduz a latência entre regiões para usuários distribuídos geograficamente e faz do failover basicamente um exercício de roteamento de tráfego: se uma região cai, a outra já está no ar.

O custo é a complexidade. O Kafka multirregião em modo active-active exige uma nomenclatura cuidadosa dos tópicos (o MM2 prefixa os tópicos replicados com o alias do cluster de origem para evitar loops infinitos de replicação), aplicações que tolerem consistência eventual entre regiões e uma estratégia para evitar processamento duplicado quando um consumer group muda de lugar. Não existe ordenação global entre regiões. Para o caso de uso certo, cargas sempre ativas e geodistribuídas, o active-active entrega o melhor RTO disponível. Para um produto de uma única região, geralmente é engenharia em excesso.

Stretch clusters

Um stretch cluster é uma única implantação de Kafka cujos brokers abrangem vários data centers ou zonas de disponibilidade, usando replicação síncrona (acks=all com min.insync.replicas aplicado entre os sites), para que cada escrita chegue a pelo menos dois locais antes de ser confirmada. Se você perder um site inteiro, o cluster continua rodando: sem evento de failover, sem tradução de offsets, com RPO zero.

O problema é a física e o custo. Cada requisição de produce paga a latência de ida e volta entre sites, então stretch clusters só são práticos entre sites com links de baixa latência (normalmente abaixo de ~50 ms, de preferência AZs dentro de uma mesma região, com designs 2.5DC/3DC para o posicionamento do quorum). Ao contrário do que se imagina, um stretch cluster nem sempre é mais caro que o espelhamento, já que você roda um cluster em vez de dois, mas ele não protege contra desastres regionais quando todos os sites estão na mesma região, e nunca protege contra erro de operador, que é replicado instantaneamente para todos os sites.

Backup e restauração em object storage

A replicação de clusters não substitui backups. A replicação copia fielmente os erros: um tópico excluído ou dados poison-pill são espelhados para o seu site de DR em segundos. Fazer snapshots periódicos dos tópicos críticos em object storage (via sinks S3 do Kafka Connect ou tiered storage) oferece uma recuperação point-in-time que a replicação não oferece, ao custo de uma restauração muito mais lenta. Trate isso como um complemento a um standby ativo, e não como substituto.

Comparação das arquiteturas de DR do Kafka

Arquitetura RPO típico RTO típico Custo relativo Complexidade Melhor uso
Active-passive (MM2) Segundos a minutos (atraso assíncrono) Minutos a horas $$ Moderada A maioria das cargas corporativas
Active-active Segundos (por região) Segundos a minutos $$$ Alta Sistemas geodistribuídos e sempre ativos
Stretch cluster Zero Quase zero (automático) $$–$$$ Moderada a alta Sites de baixa latência, exigência de perda de dados zero
Backup/restauração Horas (intervalo dos snapshots) Horas $ Baixa Conformidade, recuperação de erros de operador

Rodando Kafka em produção sem um plano de failover ensaiado? Os engenheiros sêniores da AceMQ projetam, implementam e colocam à prova a recuperação de desastres do Kafka, e quando algo quebra às 3 da manhã, a nossa equipe de suporte 24/7 trabalha com metas de resposta a partir de 15 minutos, conforme o plano. Fale com um engenheiro de Kafka.

O problema da tradução de offsets (onde os planos de DR realmente falham)

O modo de falha mais sutil na recuperação de desastres do Kafka não é perder dados, e sim os consumidores retomarem no lugar errado. Os offsets são específicos de cada cluster: o offset 1.000.000 no primário não é o offset 1.000.000 no cluster de destino, porque a replicação começa em momentos diferentes, a retenção apaga intervalos diferentes e a compactação reescreve os logs de forma diferente.

O MirrorMaker 2 resolve isso com checkpoints: o MirrorCheckpointConnector emite periodicamente os offsets traduzidos dos consumer groups para o destino e, desde o Kafka 2.7, consegue sincronizá-los diretamente no tópico __consumer_offsets do destino. Mas há armadilhas que aparecem em failovers reais:

  • Granularidade dos checkpoints. A sincronização de offsets é periódica (padrão: a cada 60 segundos). Um consumidor que faz failover cai no último checkpoint, e não no último registro consumido: espere reprocessamento e torne os consumidores idempotentes.
  • A tradução fica atrás da replicação. O MM2 só consegue traduzir um offset depois que o registro correspondente foi replicado. Se o atraso de replicação disparar durante a indisponibilidade que provoca o failover, os offsets traduzidos ficam ainda mais para trás.
  • Os grupos precisam estar inativos para sincronizar. O MM2 não sobrescreve os offsets de consumer groups conectados ativamente ao cluster de destino, o que surpreende equipes que testam o failover com consumidores ativos dos dois lados.
  • Via de mão única. Os checkpoints fluem da origem para o destino. Fazer failback para o primário original depois de uma recuperação bem-sucedida exige replicação reversa e uma passagem própria de tradução de offsets: planeje e teste o failback explicitamente.
  • Processadores de stream carregam estado extra. Jobs de Kafka Streams e Apache Flink mantêm estado interno (tópicos de changelog, checkpoints/savepoints do Flink) que precisa ser recuperado de forma consistente, e não apenas os dados dos tópicos.

Se você não consegue dizer exatamente onde cada consumer group vai retomar depois do failover, você ainda não tem um plano de recuperação de desastres: tem um pipeline de replicação.

Como montar e testar um plano de recuperação de desastres do Kafka

Um plano de recuperação de desastres viável para um ambiente Kafka cobre cinco coisas:

  1. Escopo e metas. Quais tópicos, quais consumer groups, qual RPO/RTO por camada, aprovados pelo negócio, e não apenas pela equipe de plataforma.
  2. Configuração da replicação. Como você configura o MM2 ou a replicação do serviço Kafka escolhido: filtros de tópicos, intervalos de sincronização de offsets, replicação de ACLs e de schemas (não esqueça o Schema Registry: os consumidores no site de DR precisam dos schemas) e monitoramento do atraso de replicação com limites de alerta ligados ao seu RPO.
  3. Runbook de failover. Procedimentos de recuperação exatos e executáveis: quem decide, como os clientes são redirecionados (DNS, service discovery, envio de configuração), como os offsets são verificados e como você confirma que a recuperação foi bem-sucedida.
  4. Runbook de failback. Como as mudanças replicadas voltam e como você retorna ao estado normal sem perda de dados nem tempestades de duplicação.
  5. Um calendário de testes. Game days trimestrais, no mínimo. Simule falhas de brokers, derrube uma zona de disponibilidade e depois ensaie o failover regional completo em staging, com tráfego no formato da produção. Meça o RTO que você realmente atinge e atualize a documentação sempre que a realidade discordar do plano.

DR não testado falha. Todo operador de Kafka experiente já viu um pipeline de espelhamento que rodou tranquilamente por um ano enquanto pulava, sem ninguém perceber, um tópico por causa de um filtro mal configurado, descoberto só durante a indisponibilidade real.

Kafka gerenciado e recuperação de desastres na nuvem

As plataformas gerenciadas mudam a mecânica, mas não a responsabilidade. Na AWS, o MSK Replicator oferece replicação gerenciada entre regiões para o MSK, enquanto o MirrorMaker 2 continua sendo a ferramenta preferida para topologias híbridas e com várias contas. A Confluent oferece o Cluster Linking, que replica os dados preservando os offsets byte a byte em um cluster Confluent Cloud (eliminando o problema da tradução de offsets), e as opções multirregião do Confluent Cloud podem automatizar boa parte do failover. São recursos realmente úteis, mas todos eles ainda exigem que você defina RPO/RTO, configure o redirecionamento dos clientes e ensaie o runbook. Replicação gerenciada não é recuperação gerenciada.

Se a pergunta por trás deste artigo é de arquitetura, e não um incidente em andamento (estratégia de partições, dimensionamento, design de segurança, uma migração), a consultoria Kafka da AceMQ coloca um engenheiro sênior designado no caso.

Esta é a etapa oito de dez do guia de operações do Kafka, que apresenta as decisões operacionais na ordem em que elas surgem em um ambiente de produção.

Perguntas frequentes

Qual é a estratégia de recuperação de desastres mais comum para clusters Kafka?

A replicação de clusters active-passive com o MirrorMaker 2 é a abordagem mais comum: um espelhamento assíncrono dos tópicos e dos offsets dos consumidores para um cluster standby em outra região, combinado com um procedimento de failover dos clientes já ensaiado. Ela equilibra custo, simplicidade e RPO/RTO sólidos para a maioria das cargas de trabalho.

A recuperação de desastres no Kafka consegue ter perda de dados zero?

Sim, mas apenas com replicação síncrona: um stretch cluster que abrange zonas de disponibilidade com acks=all e um min.insync.replicas adequado, ou um recurso da plataforma que ofereça escritas síncronas entre sites. Ferramentas assíncronas como o Kafka MirrorMaker 2 sempre têm um RPO igual ao atraso de replicação, então não é possível garantir um failover sem perda de dados apenas com espelhamento assíncrono.

Com que frequência devemos testar um plano de recuperação de desastres do Kafka?

No mínimo a cada trimestre, e também depois de qualquer mudança relevante na implantação do Kafka (upgrades de versão, novos tópicos críticos, mudanças de topologia). Um teste completo inclui o failover regional em um ambiente de staging, a verificação de onde cada consumer group crítico retoma o consumo e um RTO medido, comparado à sua meta.

Stretch clusters não são mais caros do que espelhamento?

Não necessariamente. Um stretch cluster é um único cluster distribuído entre sites, enquanto o espelhamento exige rodar e operar dois clusters completos, além da camada de replicação. Stretch clusters custam mais em latência e em rede e exigem links de alta qualidade, mas podem custar menos em hardware e operação. As restrições reais são o orçamento de latência e o fato de que um stretch cluster dentro de uma única região não sobrevive à perda da região inteira.

O que é o MirrorMaker 2 e como ele funciona?

O MirrorMaker 2 é a ferramenta de replicação entre clusters que acompanha o Apache Kafka, definida na KIP-382 e construída sobre o framework Kafka Connect. Ele consome de um cluster de origem e produz para um cluster de destino, replicando tópicos, configurações de tópicos, consumer groups e seus offsets, além de ACLs. Por padrão, um tópico replicado é renomeado com o alias do cluster de origem como prefixo, então orders, de um cluster chamado us-west, vira us-west.orders no destino. É essa nomenclatura que torna possíveis as configurações active-active sem loops de replicação, e é também por isso que os runbooks de failover precisam apontar os consumidores para os tópicos renomeados.

O que acontece com os offsets dos consumidores durante um failover?

Com o MirrorMaker 2, os checkpoints traduzem os offsets dos consumer groups do cluster de origem para o de destino em intervalos. No failover, os consumidores retomam a partir do último checkpoint traduzido, normalmente um pouco atrás da posição real, então alguns registros são reprocessados. Os consumidores devem ser idempotentes, e os intervalos de sincronização de offsets devem ser ajustados para ficar mais curtos do que o seu RPO. O Confluent Cluster Linking evita a tradução por completo, preservando os offsets byte a byte. --- A recuperação de desastres no Kafka é uma estratégia de resiliência, e não um produto que você instala: escolha a arquitetura que corresponde ao seu RPO e RTO, replique os dados com ferramentas que você entende, cuide obsessivamente do comportamento dos offsets e teste até o failover ficar monótono. Não espere a indisponibilidade para descobrir as lacunas. A AceMQ oferece suporte corporativo 24/7 para Kafka open source, com engenheiros sêniores de plantão e metas de resposta a partir de 15 minutos, conforme o plano, de revisões de arquitetura de DR a ser a equipe que você aciona quando uma região sai do ar. Conheça os serviços de Kafka da AceMQ ou contrate cobertura de suporte 24/7.

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Guias, comparativos e pesquisas

Aprofunde-se em Kafka

Consulta gratuita

Um olhar especializado sobre seu cluster Kafka

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail