概要
Flinkは、イベント時間のセマンティクスとexactly-onceの保証を伴うステートフルなストリーム処理には最適な選択肢ですが、よりシンプルなコンシューマーで対応できるステートレスな変換処理には高くつく選択肢です。AceMQは、Flinkが運用面で実際に求めるものに照らしてワークロードを評価し、サイジングを含む推奨案をご報告します。
課題
ストリーミングのプロジェクトはスループットの数値でスコープが決められがちで、コストを左右する要件が見落とされます。エンドツーエンドのexactly-onceが本当に必要か、シンクがそれに対応できるか。本番環境のカーディナリティで、そのロジックがどれだけのキー付きステートを必要とするか。上流のシステムが実際にどの程度のイベント時間の遅延を生むか。チームがチェックポイント、セーブポイント、リスケーリングを運用できるか。こうした判断が、プラットフォームを持続的に運用できるかどうかを決めます。
環境
KafkaまたはRedpandaをソースとし、分析系と業務系のシンクが混在する、Kubernetes上の新規または拡張中のストリーミング基盤。
アプローチ
AceMQは、スループットだけでなく、セマンティクス、ステートのカーディナリティ、遅延の許容度、配信保証といった実際の処理要件から評価を進めます。Flinkが適している場合は、クラスターとステートのレイヤーをサイジングし、運用モデルを定義します。適していない場合はそうお伝えし、代わりに適したよりシンプルなコンポーネントを特定します。
ソリューション
- ワークロードを分類し、ステートフルなイベント時間処理と、Flinkを必要としないステートレスな変換処理を切り分け
- 本番環境のキー数でステートのカーディナリティをモデル化し、それに伴うメモリとディスクの使用量を算出
- ソースのリプレイ、シンクの冪等性、exactly-onceに必要なトランザクション対応シンクの有無を含む、配信セマンティクスのレビュー
- 実際の上流データでイベント時間の遅延を測定し、ウォーターマークとウィンドウのパラメーターを設定
- TaskManagerの数、スロット、ネットワークバッファ、チェックポイントストレージのスループットにわたるクラスターのサイジング
- デプロイモード、セーブポイントのポリシー、アップグレード手順、運用に必要なアラートを含む運用モデルの定義
結果
お客様は、実際のステートとセマンティクスの要件を反映したサイジングとともに、ワークロードごとに構築するか見送るかを、根拠を持って判断できます。通常、いくつかのワークロードはよりシンプルなコンシューマーへ移り、チームが人員を割かなければならない運用範囲が小さくなります。