部落格Kafka

Kafka 災難復原:多區域策略、架構與 RPO/RTO 取捨

Scott Sternloff

作者:Scott Sternloff(資深企業架構師)

LinkedIn · 更新日期: · 閱讀時間 10 分鐘

Kafka 災難復原:多區域策略、架構與 RPO/RTO 取捨
On this page

要建立 Kafka 災難復原,您需要在獨立的故障域——另一個區域或資料中心——部署第二套 Kafka 叢集,使用 Kafka MirrorMaker 2、Confluent Replicator 或 AWS MSK Replicator 等工具,持續將 topic 與消費者群組 offset 複寫過去,並維護一份經過測試、能把生產者與消費者導向目標叢集的容錯移轉 Runbook。要選擇哪一種架構——主動-被動、主動-主動或延伸叢集——取決於兩個數字:復原點目標(能容忍多少資料遺失)與復原時間目標(必須多快恢復服務)。Kafka 災難復原計畫中的其他一切,都源自這兩項業務需求。

本指南將逐一說明 Kafka 災難復原的主要架構、彼此之間的取捨,以及各種維運陷阱——尤其是 offset 轉換——正是這些細節,區分了紙上談兵的計畫與真正能撐過災難情境的計畫。

為什麼單一 Kafka 叢集稱不上 DR 策略

Apache Kafka 常被形容為具備容錯能力,在單一叢集內確實如此。當複寫因子為 3 時,Kafka 會將分割區資料分散到多個 broker 上,因此叢集內損失一到兩個 broker 並不會造成資料遺失。Leader 選舉會自動升格同步中的副本,設定得當的部署對例行的 broker 故障根本不以為意。

但內建複寫只能在一個故障域內保護您。單一叢集——即使跨越多個機架——仍位於同一個區域、同一個網路、同一個管理上的影響範圍內。它無法防範整個區域失效、手誤刪除 topic、錯誤的 ACL 變更、KRaft 仲裁損毀,或雲端供應商中斷。高可用性與災難復原是兩門不同的學問:HA 讓叢集在元件故障時持續運作;DR 則是在整個環境消失後,讓 Kafka 服務恢復運作。

對於執行業務所仰賴之即時資料管線的團隊而言,這項區別正是營運持續規劃的基礎。如果 Kafka 是支付、物流或詐欺偵測的骨幹,以小時計的停機是無法接受的結果——悄無聲息地遺漏事件也同樣不行。

先確定 RPO 與 RTO,而不是先挑工具

在比較複寫工具之前,先與業務單位確定兩個數字:

  • 復原點目標(RPO)——可接受的最大資料遺失量,以時間衡量。RPO 為五分鐘,代表發生災難時,您最多可能遺失五分鐘的 Kafka 資料。
  • 復原時間目標(RTO)——恢復服務可接受的最長時間。RTO 為 30 分鐘,代表消費者與生產者必須在半小時內恢復運作。

這些目標決定了成本。跨區域的非同步複寫能以中等成本,提供等於複寫延遲(通常為數秒到數分鐘)的 RPO。要達到零 RPO——容錯移轉時不遺失資料——就需要同步複寫,這意味著每一次 produce 請求都得付出延遲代價,並且要在可用區域之間以高速連線執行基礎架構。您能達到的復原時間,與其說取決於工具,不如說取決於容錯移轉程序的自動化程度與演練是否充分。

請如實評估每一項工作負載。承載點擊流分析的叢集,可以容忍比承載金融交易的叢集更寬鬆的復原點。許多團隊最後會採用分級的復原計畫:一小組關鍵 topic 採用嚴格的 RPO/RTO,其餘則採用較寬鬆的目標。

Kafka 災難復原架構

Apache Kafka® 災難復原有四種廣泛使用的模式,大多數正式環境部署採用的是前兩種之一。

以 MirrorMaker 2 實現主動-被動

Kafka DR 最常見的策略是主動-被動配對:主要叢集處理所有流量,而 MirrorMaker 2(MM2)——隨 Apache Kafka 一同提供、在 Kafka Connect 框架上執行——則將 topic、設定與消費者 offset 非同步複寫到另一個區域或資料中心的備援叢集。

正常運作期間,被動叢集會接收複寫過來的資料,但不服務任何用戶端。發生災難時,您便進行容錯移轉:將生產者與消費者指向備援叢集,將它升格為主要叢集,然後繼續運作。RPO 等於複寫延遲;RTO 則取決於多快能把用戶端導向新叢集——採用以 DNS 為基礎的 bootstrap 位址並搭配演練過的自動化流程,可以縮短到幾分鐘。

主動-被動之所以受歡迎,是因為它概念簡單、能搭配開源工具運作,而且備援叢集的成本很低(在升格之前可以較小)。它的弱點並不對稱:災難過後的容錯回復往往比容錯移轉更難,而未經測試的 offset 同步可能悄悄破壞消費者的恢復機制——下文會進一步說明。

主動-主動 Kafka

在主動-主動的 Kafka 拓樸中,位於不同區域的兩套(或更多)叢集同時服務即時流量,彼此互相複寫,通常使用 MM2 或 Confluent Cluster Linking。每個區域的用戶端都在本地生產與消費,這能為分散各地的使用者降低跨區域延遲,也讓容錯移轉大致只是流量路由的問題:一個區域失效時,另一個區域早已在線上運作。

代價是複雜度。以主動-主動模式運作的多區域 Kafka,需要謹慎的 topic 命名(MM2 會以來源叢集的別名作為複寫 topic 的前綴,以避免無限複寫迴圈)、能容忍區域之間最終一致性的應用程式,以及在消費者群組移轉時避免重複處理的策略。區域之間也不存在全域排序。對於合適的使用情境——全天候不中斷、地理分散的工作負載——主動-主動能提供目前最佳的 RTO。但對於單一區域的產品而言,這通常是過度設計。

延伸叢集

延伸叢集是單一的 Kafka 部署,其 broker 橫跨多個資料中心或可用區域,並使用同步複寫(acks=all,並跨站點強制套用 min.insync.replicas),讓每一筆寫入在獲得確認之前,至少落地於兩個位置。即使失去整個站點,叢集也能繼續運作——不會發生容錯移轉事件,不需要 offset 轉換,RPO 為零。

問題在於物理限制與成本。每一次 produce 請求都要付出跨站點的往返延遲,因此延伸叢集只適用於彼此以低延遲連線相連的站點(通常低於約 50 毫秒,最理想的是同一區域內的各個 AZ,並以 2.5DC/3DC 設計安排仲裁的配置位置)。與直覺相反,延伸叢集不一定比鏡像更貴——您只需要執行一套叢集而不是兩套——但當所有站點位於同一區域時,它無法防範區域性災難,也永遠無法防範操作人員的失誤,因為這些失誤會即時複寫到每一個站點。

備份並還原至物件儲存

叢集複寫無法取代備份。複寫會忠實地複製錯誤——被刪除的 topic 或毒藥訊息資料,會在幾秒鐘內鏡像到您的 DR 站點。定期將關鍵 topic 的快照存放到物件儲存(透過 Kafka Connect S3 sink 或分層儲存),能提供複寫所無法提供的時間點復原能力,代價則是還原速度慢得多。請將它視為即時備援的補充,而非替代品。

Kafka DR 架構比較

架構 典型 RPO 典型 RTO 相對成本 複雜度 最適用情境
主動-被動(MM2) 數秒至數分鐘(非同步延遲) 數分鐘至數小時 $$ 中等 大多數企業工作負載
主動-主動 數秒(依區域) 數秒至數分鐘 $$$ 高 地理分散、全天候不中斷的系統
延伸叢集 零 趨近於零(自動) $$–$$$ 中等至高 低延遲站點、要求零資料遺失
備份/還原 數小時(快照間隔) 數小時 $ 低 法規遵循、操作失誤復原

在正式環境執行 Kafka,卻沒有演練過的容錯移轉計畫?AceMQ 的資深工程師負責設計、實施並實戰測試 Kafka 的災難復原——當凌晨 3 點出狀況時,我們的 24/7 技術支援團隊會以依方案而定、最快 15 分鐘起的回應目標為準進行回應。與 Kafka 工程師聯繫。

Offset 轉換問題(DR 計畫真正失敗的地方)

Kafka 災難復原中最隱微的故障模式並不是遺失資料——而是消費者從錯誤的位置恢復。Offset 是叢集專屬的:主要叢集上的 offset 1,000,000 並不等於目標叢集上的 offset 1,000,000,因為複寫的起始時間不同、保留機制刪除的範圍不同,壓縮(compaction)改寫日誌的方式也不同。

MirrorMaker 2 以 checkpoint 機制處理這個問題:MirrorCheckpointConnector 會定期將轉換後的消費者群組 offset 發送到目標叢集,而且自 Kafka 2.7 起,還能直接同步到目標叢集的 __consumer_offsets topic。但在真實的容錯移轉中,仍有一些陷阱會讓您吃足苦頭:

  • Checkpoint 的粒度。Offset 同步是定期進行的(預設每 60 秒一次)。容錯移轉的消費者會從最後一個 checkpoint 開始,而不是從最後消費的記錄開始——請預期會有重新處理,並讓消費者具備冪等性。
  • 轉換落後於複寫。MM2 只有在對應的記錄完成複寫後,才能轉換該 offset。如果在觸發容錯移轉的那次中斷期間複寫延遲飆高,轉換後的 offset 就會落後得更多。
  • 群組必須處於非活動狀態才能同步。對於正連線到目標叢集的消費者群組,MM2 不會覆寫其 offset——這讓在兩端都有即時消費者的情況下測試容錯移轉的團隊大吃一驚。
  • 單行道。Checkpoint 只會從來源流向目標。成功復原後要容錯回復到原本的主要叢集,需要反向複寫以及另一輪 offset 轉換——請明確規劃並測試容錯回復。
  • 串流處理器帶有額外的狀態。Kafka Streams 與 Apache Flink 作業會維護內部狀態(changelog topic、Flink checkpoint/savepoint),這些狀態必須一致地復原,而不只是 topic 資料。

如果您無法精確說出每一個消費者群組在容錯移轉後會從哪裡恢復,那您還沒有災難復原計畫——您只有一條複寫管線。

建立並測試 Kafka 災難復原計畫

一份可行的 Kafka 災難復原計畫涵蓋五個面向:

  1. 範圍與目標。哪些 topic、哪些消費者群組、每個等級的 RPO/RTO 為何——由業務單位核准,而不只是平台團隊。
  2. 複寫設定。如何設定 MM2 或您所選 Kafka 服務的複寫:topic 篩選器、offset 同步間隔、ACL 與 schema 複寫(別忘了 Schema Registry——DR 站點上的消費者需要 schema),以及複寫延遲的監控,並將告警門檻與您的 RPO 掛鉤。
  3. 容錯移轉 Runbook。精確、可執行的復原程序:由誰決定、如何重新導向用戶端(DNS、服務探索、設定推送)、如何驗證 offset,以及如何確認已成功復原。
  4. 容錯回復 Runbook。複寫的變更如何回流,以及如何在不遺失資料、不引發重複處理風暴的情況下回到穩定狀態。
  5. 測試行事曆。至少每季舉行一次 game day。模擬 broker 故障、讓一個可用區域停擺,然後在預備環境中以貼近正式環境的流量演練完整的區域容錯移轉。實際量測您達到的 RTO,並在現實與計畫不符時更新文件。

未經測試的 DR 必然失敗。每一位資深的 Kafka 維運人員都見過這樣的鏡像管線:它安靜地運作了一年,同時因為 topic 篩選器設定錯誤而默默漏掉了某個 topic——直到真正發生中斷時才被發現。

雲端上的託管 Kafka 與災難復原

託管平台改變的是運作機制,而不是責任歸屬。在 AWS 上,MSK Replicator 為 MSK 提供託管式的跨區域複寫,而 MirrorMaker 2 仍是混合式與多帳戶拓樸的首選工具。Confluent 提供 Cluster Linking,能將資料複寫到 Confluent Cloud 叢集,並逐位元組保留 offset——徹底消除 offset 轉換問題——而 Confluent Cloud 的多區域選項也能將容錯移轉的大部分流程自動化。這些都是確實有用的功能,但每一項仍需要您自行定義 RPO/RTO、建置用戶端重新導向機制,並演練 Runbook。託管的複寫不等於託管的復原。

如果您閱讀本文想解決的是架構問題,而不是正在發生的事故——例如分割區策略、規模規劃、安全性設計或遷移——AceMQ 的 Kafka 顧問服務會指派專屬資深工程師負責。

本文是 Kafka 維運指南十個步驟中的第八步,該指南依照正式環境中各項維運決策出現的先後順序逐一說明。

常見問題

Kafka 叢集最常見的災難復原策略是什麼?

最常見的做法是使用 MirrorMaker 2 進行主動-被動的叢集複寫:將 topic 與消費者 offset 非同步鏡像到另一個區域的備援叢集,再搭配經過演練的用戶端容錯移轉程序。對大多數工作負載而言,這種做法在成本、簡單度與穩健的 RPO/RTO 之間取得了平衡。

Kafka 災難復原能做到零資料遺失嗎?

可以,但只能透過同步複寫——例如跨可用區域的延伸叢集,搭配 acks=all 與適當的 min.insync.replicas,或是提供跨站點同步寫入的平台功能。Kafka MirrorMaker 2 這類非同步工具的 RPO 永遠等於複寫延遲,因此只靠非同步鏡像,無法保證容錯移轉時不遺失資料。

Kafka 災難復原計畫應該多久測試一次?

至少每季一次,並且在 Kafka 部署有任何重大變更(版本升級、新增關鍵 topic、拓樸變更)之後再測試一次。完整的測試包含在預備環境中進行區域容錯移轉、驗證每一個關鍵消費者群組會從哪裡恢復消費,以及實測 RTO 並與目標值比較。

延伸叢集不是比鏡像更貴嗎?

不一定。延伸叢集是分散在多個站點的單一叢集,而鏡像則需要執行並維運兩套完整的叢集,外加一層複寫機制。延伸叢集在延遲與網路方面的成本較高,也需要高品質的連線,但在硬體與維運上反而可能更省。真正的限制在於延遲預算,以及位於單一區域內的延伸叢集撐不過整個區域失效這項事實。

什麼是 MirrorMaker 2?它如何運作?

MirrorMaker 2 是隨 Apache Kafka 一起提供的跨叢集複寫工具,定義於 KIP-382,並建構在 Kafka Connect 框架之上。它從來源叢集消費、再生產到目標叢集,複寫的內容包括 topic、topic 設定、消費者群組及其 offset,以及 ACL。預設情況下,被複寫的 topic 會以來源叢集的別名作為前綴重新命名,因此來自名為 us-west 之叢集的 orders,在目標叢集上會變成 us-west.orders。正是這種命名方式,讓主動-主動架構得以避免複寫迴圈;這也是為什麼容錯移轉 runbook 必須讓消費者改指向重新命名後的 topic。

容錯移轉期間,消費者 offset 會發生什麼事?

使用 MirrorMaker 2 時,checkpoint 會定期將消費者群組的 offset 從來源叢集轉換到目標叢集。容錯移轉時,消費者會從最後一次轉換的 checkpoint 恢復——通常會稍微落後於實際位置——因此部分記錄會被重新處理。消費者應具備冪等性,而 offset 同步間隔也應調整得比您的 RPO 更緊。Confluent Cluster Linking 則能逐位元組保留 offset,完全不需要轉換。--- Kafka 災難復原是一套提升 Kafka 韌性的策略,而不是安裝了就好的產品:選擇符合您 RPO 與 RTO 的架構,以您真正理解的工具複寫資料,對 offset 的行為鉅細靡遺地掌握,並反覆測試,直到容錯移轉變成一件稀鬆平常的事。別等到中斷發生才發現漏洞。AceMQ 為開源 Kafka 提供 24/7 企業級技術支援,由資深工程師隨時待命,並提供依方案而定、最快 15 分鐘起的回應目標——從 DR 架構審查,到在區域失聯時成為您第一個呼叫的團隊。歡迎了解 AceMQ 的 Kafka 服務,或取得 24/7 技術支援方案。

Scott Sternloff

作者

Scott Sternloff資深企業架構師

AceMQ 資深企業架構師。負責本站的技術類文章:RabbitMQ、Kafka 與 Redis 的架構、叢集與遷移。

指南、比較與研究

深入了解 Kafka

免費諮詢

請專家檢視您的 Kafka 叢集

無論您是在排除正式環境事故、規劃遷移,還是想針對架構聽聽第二意見,我們的團隊都已準備就緒。不推銷,只給答案。

寄信給我們