BlogueKafka

Recuperação de desastres no Kafka: estratégias multirregião, arquiteturas e compromissos de RPO/RTO

Scott Sternloff

Por Scott Sternloff, Arquiteto empresarial sénior

LinkedIn · Atualizado a · 10 min de leitura

Recuperação de desastres no Kafka: estratégias multirregião, arquiteturas e compromissos de RPO/RTO
On this page

Para implementar a recuperação de desastres no Kafka, instala-se um segundo cluster Kafka num domínio de falha independente — outra região ou outro centro de dados —, replicam-se continuamente para ele os tópicos e os offsets dos consumer groups com ferramentas como o Kafka MirrorMaker 2, o Confluent Replicator ou o AWS MSK Replicator, e mantém-se um runbook de failover testado que redireciona os producers e os consumidores para o cluster de destino. A arquitetura escolhida — active-passive, active-active ou stretch cluster — é determinada por dois números: o objetivo de ponto de recuperação (quanta perda de dados consegue tolerar) e o objetivo de tempo de recuperação (com que rapidez tem de repor o serviço). Tudo o resto num plano de recuperação de desastres do Kafka decorre destes dois requisitos de negócio.

Este guia percorre as principais arquiteturas de recuperação de desastres com Kafka, os compromissos entre elas e as armadilhas operacionais — sobretudo a tradução de offsets — que distinguem um plano que parece bom no papel de um que sobrevive de facto a um cenário de desastre.

Porque é que um único cluster Kafka não é uma estratégia de DR

O Apache Kafka é frequentemente descrito como tolerante a falhas e, dentro de um único cluster, é verdade. Com um fator de replicação de 3, o Kafka distribui os dados das partições por vários brokers, pelo que a perda de um ou dois brokers num cluster não provoca perda de dados. A eleição de líder promove automaticamente réplicas sincronizadas, e uma implementação bem configurada aguenta sem esforço as falhas rotineiras de brokers.

Mas a replicação nativa protege-o dentro de um único domínio de falha. Um único cluster — mesmo um que abranja vários racks — vive numa região, numa rede, num único raio de impacto administrativo. Não o protege contra a perda de uma região inteira, a eliminação acidental de um tópico, uma alteração errada de ACL, um quórum KRaft corrompido ou uma indisponibilidade do fornecedor de cloud. Alta disponibilidade e recuperação de desastres são disciplinas diferentes: a alta disponibilidade mantém o cluster em funcionamento perante falhas de componentes; a recuperação de desastres repõe o serviço Kafka depois de todo o ambiente ter desaparecido.

Para equipas que operam pipelines de dados em tempo real de que o negócio depende, essa distinção é a base do planeamento da continuidade de negócio. Se o Kafka é a espinha dorsal dos pagamentos, da logística ou da deteção de fraude, uma indisponibilidade medida em horas não é um desfecho aceitável — nem a perda silenciosa de eventos.

Comece pelo RPO e pelo RTO, não pelas ferramentas

Antes de comparar ferramentas de replicação, defina dois números com o negócio:

  • Objetivo de ponto de recuperação (RPO) — a perda de dados máxima aceitável, medida em tempo. Um RPO de cinco minutos significa que pode perder até cinco minutos de dados do Kafka num desastre.
  • Objetivo de tempo de recuperação (RTO) — o tempo máximo aceitável para repor o serviço. Um RTO de 30 minutos significa que os consumidores e os producers têm de estar novamente a fluir no prazo de meia hora.

Estes objetivos ditam o custo. A replicação assíncrona entre regiões dá-lhe um RPO igual ao lag de replicação (normalmente de segundos a minutos) a um custo moderado. Atingir um RPO de zero — failover sem perda de dados — exige replicação síncrona, o que implica pagar uma penalização de latência em cada pedido de produce e operar infraestrutura em várias zonas de disponibilidade com ligações rápidas. O tempo de recuperação que consegue atingir depende menos das ferramentas e mais do grau de automação e de ensaio do seu procedimento de failover.

Seja honesto em relação a cada carga de trabalho. Um cluster que transporta analítica de clickstream tolera um ponto de recuperação mais folgado do que um que transporta transações financeiras. Muitas equipas acabam por adotar planos de recuperação por níveis: RPO/RTO rigorosos para um pequeno conjunto de tópicos críticos e objetivos mais flexíveis para tudo o resto.

Arquiteturas de recuperação de desastres do Kafka

Há quatro padrões amplamente utilizados para a recuperação de desastres do Apache Kafka®. A maioria das implementações em produção usa um dos dois primeiros.

Active-passive com MirrorMaker 2

A estratégia mais comum de DR para Kafka é um par active-passive: um cluster primário serve todo o tráfego, enquanto o MirrorMaker 2 (MM2), que vem incluído no Apache Kafka e corre sobre a framework Kafka Connect, replica de forma assíncrona os tópicos, as configurações e os offsets dos consumidores para um cluster de reserva noutra região ou centro de dados.

Em funcionamento normal, o cluster passivo recebe os dados replicados mas não serve clientes. Num cenário de desastre, faz-se o failover: apontam-se os producers e os consumidores para o cluster de reserva, promove-se este a primário e continua-se. O RPO é igual ao lag de replicação; o RTO depende da rapidez com que os clientes podem ser redirecionados — com endereços de bootstrap baseados em DNS e automação ensaiada, pode ser uma questão de minutos.

O modelo active-passive é popular porque é conceptualmente simples, funciona com ferramentas open source e mantém o cluster de reserva barato (pode ser mais pequeno até ser promovido). As suas fraquezas são assimétricas: o failback, depois de passado o desastre, é muitas vezes mais difícil do que o failover, e uma sincronização de offsets não testada pode comprometer discretamente a retoma dos consumidores — veremos isso mais abaixo.

Kafka active-active

Numa topologia Kafka active-active, dois (ou mais) clusters em regiões diferentes servem ambos tráfego real, replicando cada um para o outro, normalmente com o MM2 ou o Confluent Cluster Linking. Os clientes de cada região produzem e consomem localmente, o que reduz a latência entre regiões para utilizadores geograficamente distribuídos e faz com que o failover seja sobretudo uma questão de encaminhamento de tráfego: se uma região cair, a outra já está ativa.

O preço é a complexidade. Um Kafka multirregião em modo active-active exige uma nomenclatura cuidadosa dos tópicos (o MM2 acrescenta aos tópicos replicados o alias do cluster de origem como prefixo, para evitar ciclos de replicação infinitos), aplicações que tolerem consistência eventual entre regiões e uma estratégia para evitar processamento duplicado quando um consumer group muda de cluster. Não existe ordenação global entre regiões. Para o caso de utilização certo — cargas de trabalho sempre ativas e geodistribuídas —, o active-active oferece o melhor RTO possível. Para um produto numa única região, é normalmente engenharia em excesso.

Stretch clusters

Um stretch cluster é uma única implementação Kafka cujos brokers abrangem vários centros de dados ou zonas de disponibilidade, usando replicação síncrona (acks=all com min.insync.replicas aplicado entre locais), de modo que cada escrita chega a pelo menos dois locais antes de ser confirmada. Perde-se um local inteiro e o cluster continua a funcionar — sem evento de failover, sem tradução de offsets, com RPO de zero.

O problema está na física e no custo. Cada pedido de produce paga a latência de ida e volta entre locais, pelo que os stretch clusters só são viáveis entre locais com ligações de baixa latência (normalmente abaixo de ~50 ms, idealmente zonas de disponibilidade dentro de uma região, com desenhos 2.5DC/3DC para a colocação do quórum). Ao contrário do que a intuição sugere, um stretch cluster nem sempre é mais caro do que o espelhamento — opera-se um cluster em vez de dois —, mas não protege contra desastres regionais quando todos os locais partilham a mesma região e nunca protege contra erros dos operadores, que se replicam instantaneamente para todos os locais.

Backup e restauro em object storage

A replicação entre clusters não substitui os backups. A replicação copia fielmente os erros — um tópico eliminado ou dados envenenados (poison pill) são espelhados para o seu site de DR em segundos. Fazer periodicamente snapshots dos tópicos críticos para object storage (através de sinks S3 do Kafka Connect ou de tiered storage) dá-lhe uma recuperação point-in-time que a replicação não consegue oferecer, à custa de um restauro muito mais lento. Trate-o como um complemento, e não como um substituto, de um cluster de reserva ativo.

Comparação das arquiteturas de DR do Kafka

Arquitetura RPO típico RTO típico Custo relativo Complexidade Mais indicada para
Active-passive (MM2) Segundos a minutos (lag assíncrono) Minutos a horas $$ Moderada A maioria das cargas de trabalho empresariais
Active-active Segundos (por região) Segundos a minutos $$$ Elevada Sistemas geodistribuídos e sempre ativos
Stretch cluster Zero Quase zero (automático) $$–$$$ Moderada a elevada Locais com baixa latência, exigências de zero perda de dados
Backup/restauro Horas (intervalo entre snapshots) Horas $ Baixa Conformidade, recuperação de erros dos operadores

Tem o Kafka em produção sem um plano de failover ensaiado? Os engenheiros seniores da AceMQ desenham, implementam e põem à prova a recuperação de desastres do Kafka — e, quando algo avaria às 3 da manhã, a nossa equipa de suporte 24/7 trabalha com objetivos de resposta a partir de 15 minutos, consoante o plano. Fale com um engenheiro de Kafka.

O problema da tradução de offsets (onde os planos de DR falham de facto)

O modo de falha mais subtil na recuperação de desastres do Kafka não é perder dados — é os consumidores retomarem no sítio errado. Os offsets são específicos de cada cluster: o offset 1 000 000 no primário não é o offset 1 000 000 no cluster de destino, porque a replicação começa em momentos diferentes, a retenção elimina intervalos diferentes e a compactação reescreve os logs de forma diferente.

O MirrorMaker 2 resolve isto com checkpoints: o MirrorCheckpointConnector emite periodicamente para o destino os offsets traduzidos dos consumer groups e, desde o Kafka 2.7, consegue sincronizá-los diretamente no tópico __consumer_offsets do destino. Mas há armadilhas que se fazem sentir nos failovers reais:

  • Granularidade dos checkpoints. A sincronização de offsets é periódica (por omissão, a cada 60 segundos). Um consumidor que faz failover retoma no último checkpoint, e não no último registo consumido — conte com reprocessamento e torne os consumidores idempotentes.
  • A tradução vai atrás da replicação. O MM2 só consegue traduzir um offset depois de o registo correspondente ter sido replicado. Se o lag de replicação disparar durante a indisponibilidade que desencadeia o failover, os offsets traduzidos ficam ainda mais para trás.
  • Os grupos têm de estar inativos para sincronizar. O MM2 não sobrescreve os offsets de consumer groups que estejam ativamente ligados ao cluster de destino, o que surpreende as equipas que testam o failover com consumidores ativos dos dois lados.
  • Sentido único. Os checkpoints fluem da origem para o destino. Voltar ao primário original depois de uma recuperação bem-sucedida exige replicação inversa e uma passagem própria de tradução de offsets — planeie e teste o failback de forma explícita.
  • Os processadores de streams têm estado adicional. Os jobs de Kafka Streams e Apache Flink mantêm estado interno (tópicos de changelog, checkpoints/savepoints do Flink) que tem de ser recuperado de forma consistente, e não apenas os dados dos tópicos.

Se não consegue dizer com precisão onde cada consumer group vai retomar depois do failover, ainda não tem um plano de recuperação de desastres — tem um pipeline de replicação.

Construir e testar um plano de recuperação de desastres do Kafka

Um plano de recuperação de desastres viável para um ambiente Kafka cobre cinco aspetos:

  1. Âmbito e objetivos. Que tópicos, que consumer groups, que RPO/RTO por nível — aprovados pelo negócio, e não apenas pela equipa de plataforma.
  2. Configuração da replicação. Como configura o MM2 ou a replicação do serviço Kafka escolhido: filtros de tópicos, intervalos de sincronização de offsets, replicação de ACLs e de schemas (não se esqueça do Schema Registry — os consumidores no site de DR precisam dos schemas) e monitorização do lag de replicação, com limiares de alerta associados ao seu RPO.
  3. Runbook de failover. Procedimentos de recuperação exatos e executáveis: quem decide, como são redirecionados os clientes (DNS, service discovery, envio de configuração), como são verificados os offsets e como se confirma que a recuperação foi bem-sucedida.
  4. Runbook de failback. Como as alterações replicadas regressam e como volta a um estado estável sem perda de dados nem tempestades de duplicados.
  5. Um calendário de testes. No mínimo, game days trimestrais. Simule falhas de brokers, deite abaixo uma zona de disponibilidade e depois ensaie um failover regional completo em staging com tráfego com o perfil da produção. Meça o RTO que atinge de facto e atualize a documentação sempre que a realidade contrariar o plano.

DR não testado falha. Qualquer operador de Kafka experiente já viu um pipeline de espelhamento correr tranquilamente durante um ano enquanto ignorava, em silêncio, um filtro de tópicos mal configurado — algo descoberto apenas durante a indisponibilidade real.

Kafka gerido e recuperação de desastres na cloud

As plataformas geridas mudam a mecânica, mas não a responsabilidade. Na AWS, o MSK Replicator oferece replicação gerida entre regiões para o MSK, enquanto o MirrorMaker 2 continua a ser a ferramenta de eleição para topologias híbridas e com várias contas. A Confluent oferece o Cluster Linking, que replica os dados para um cluster Confluent Cloud preservando os offsets byte a byte — eliminando o problema da tradução de offsets —, e as opções multirregião do Confluent Cloud conseguem automatizar boa parte do failover. São capacidades genuinamente úteis, mas todas continuam a exigir que defina o RPO/RTO, que trate do redirecionamento dos clientes e que ensaie o runbook. Replicação gerida não é recuperação gerida.

Se a questão por detrás deste artigo é de arquitetura e não um incidente em curso — estratégia de partições, dimensionamento, desenho da segurança, uma migração —, a consultoria Kafka da AceMQ atribui-lhe um engenheiro sénior designado.

Este é o oitavo de dez passos do guia de operações do Kafka, que apresenta as decisões operacionais pela ordem em que surgem num ambiente de produção.

Perguntas frequentes

Qual é a estratégia de recuperação de desastres mais comum para clusters Kafka?

A replicação entre clusters em modo active-passive com o MirrorMaker 2 é a abordagem mais comum: um espelho assíncrono dos tópicos e dos offsets dos consumidores para um cluster de reserva noutra região, combinado com um procedimento de failover dos clientes já ensaiado. Equilibra custo, simplicidade e um RPO/RTO sólido para a maioria das cargas de trabalho.

A recuperação de desastres no Kafka consegue garantir zero perda de dados?

Sim, mas apenas com replicação síncrona — um stretch cluster distribuído por várias zonas de disponibilidade com acks=all e um min.insync.replicas adequado, ou uma funcionalidade da plataforma que assegure escritas síncronas entre locais. Ferramentas assíncronas como o Kafka MirrorMaker 2 têm sempre um RPO igual ao lag de replicação, pelo que um failover sem perda de dados não pode ser garantido apenas com espelhamento assíncrono.

Com que frequência devemos testar um plano de recuperação de desastres do Kafka?

No mínimo trimestralmente, e ainda após qualquer alteração relevante na implementação do Kafka (atualizações de versão, novos tópicos críticos, alterações de topologia). Um teste completo inclui um failover regional num ambiente de staging, a verificação do ponto onde cada consumer group crítico retoma o consumo e um RTO medido, comparado com o seu objetivo.

Os stretch clusters não são mais caros do que o espelhamento?

Não necessariamente. Um stretch cluster é um único cluster distribuído por vários locais, ao passo que o espelhamento obriga a executar e operar dois clusters completos, mais a camada de replicação. Os stretch clusters custam mais em latência e rede e exigem ligações de alta qualidade, mas podem custar menos em hardware e operação. As verdadeiras restrições são o orçamento de latência e o facto de um stretch cluster dentro de uma só região não sobreviver à perda da região inteira.

O que é o MirrorMaker 2 e como funciona?

O MirrorMaker 2 é a ferramenta de replicação entre clusters incluída no Apache Kafka, definida na KIP-382 e construída sobre a framework Kafka Connect. Consome de um cluster de origem e produz para um cluster de destino, replicando tópicos, configurações de tópicos, consumer groups e respetivos offsets, bem como ACL. Por predefinição, um tópico replicado é renomeado com o alias do cluster de origem como prefixo, pelo que orders, de um cluster chamado us-west, passa a us-west.orders no destino. É esta nomenclatura que torna possíveis as configurações active-active sem ciclos de replicação, e é também por isso que os runbooks de failover têm de apontar os consumidores para os tópicos renomeados.

O que acontece aos offsets dos consumidores durante um failover?

Com o MirrorMaker 2, os checkpoints traduzem periodicamente os offsets dos consumer groups do cluster de origem para o de destino. No failover, os consumidores retomam a partir do último checkpoint traduzido — normalmente um pouco atrás da sua posição real — pelo que alguns registos são reprocessados. Os consumidores devem ser idempotentes, e os intervalos de sincronização de offsets devem ser mais curtos do que o seu RPO. O Confluent Cluster Linking evita por completo a tradução, preservando os offsets byte a byte. --- A recuperação de desastres no Kafka é uma estratégia de resiliência, e não um produto que se instala: escolha a arquitetura adequada ao seu RPO e RTO, replique os dados com ferramentas que compreende, dê toda a atenção ao comportamento dos offsets e teste até o failover se tornar banal. Não espere pela indisponibilidade para descobrir as lacunas. A AceMQ presta suporte empresarial 24/7 para Kafka open source, com engenheiros seniores de piquete e objetivos de resposta a partir de 15 minutos, consoante o plano — desde revisões da arquitetura de DR até ser a equipa que chama quando uma região fica às escuras. Conheça os serviços de Kafka da AceMQ ou obtenha cobertura de suporte 24/7.

Scott Sternloff

Autor

Scott SternloffArquiteto empresarial sénior

Arquiteto empresarial sénior na AceMQ. Escreve aqui os conteúdos técnicos: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Guias, comparações e estudos

Aprofunde o tema Kafka

Consulta gratuita

Obtenha uma análise especializada de cluster Kafka

Quer esteja a resolver um incidente em produção, a planear uma migração ou queira uma segunda opinião sobre a sua arquitetura, a nossa equipa está pronta. Sem discursos de vendas, apenas respostas.

Enviar e-mail