導入事例の一覧に戻る

アセスメントエネルギー・公益事業

Flinkチームを編成する前に、そのワークロードに本当にFlinkが必要かを見極める

スマートグリッド技術プロバイダー

計画中のストリーミングワークロードをFlinkで扱うべきかどうか、そしてexactly-once、ステート、運用の要件に実際どれだけのコストがかかるのかを評価しました。

概要

Flinkは、イベント時間のセマンティクスとexactly-onceの保証を伴うステートフルなストリーム処理には最適な選択肢ですが、よりシンプルなコンシューマーで対応できるステートレスな変換処理には高くつく選択肢です。AceMQは、Flinkが運用面で実際に求めるものに照らしてワークロードを評価し、サイジングを含む推奨案をご報告します。

課題

ストリーミングのプロジェクトはスループットの数値でスコープが決められがちで、コストを左右する要件が見落とされます。エンドツーエンドのexactly-onceが本当に必要か、シンクがそれに対応できるか。本番環境のカーディナリティで、そのロジックがどれだけのキー付きステートを必要とするか。上流のシステムが実際にどの程度のイベント時間の遅延を生むか。チームがチェックポイント、セーブポイント、リスケーリングを運用できるか。こうした判断が、プラットフォームを持続的に運用できるかどうかを決めます。

環境

KafkaまたはRedpandaをソースとし、分析系と業務系のシンクが混在する、Kubernetes上の新規または拡張中のストリーミング基盤。

アプローチ

AceMQは、スループットだけでなく、セマンティクス、ステートのカーディナリティ、遅延の許容度、配信保証といった実際の処理要件から評価を進めます。Flinkが適している場合は、クラスターとステートのレイヤーをサイジングし、運用モデルを定義します。適していない場合はそうお伝えし、代わりに適したよりシンプルなコンポーネントを特定します。

ソリューション

  1. ワークロードを分類し、ステートフルなイベント時間処理と、Flinkを必要としないステートレスな変換処理を切り分け
  2. 本番環境のキー数でステートのカーディナリティをモデル化し、それに伴うメモリとディスクの使用量を算出
  3. ソースのリプレイ、シンクの冪等性、exactly-onceに必要なトランザクション対応シンクの有無を含む、配信セマンティクスのレビュー
  4. 実際の上流データでイベント時間の遅延を測定し、ウォーターマークとウィンドウのパラメーターを設定
  5. TaskManagerの数、スロット、ネットワークバッファ、チェックポイントストレージのスループットにわたるクラスターのサイジング
  6. デプロイモード、セーブポイントのポリシー、アップグレード手順、運用に必要なアラートを含む運用モデルの定義

結果

お客様は、実際のステートとセマンティクスの要件を反映したサイジングとともに、ワークロードごとに構築するか見送るかを、根拠を持って判断できます。通常、いくつかのワークロードはよりシンプルなコンシューマーへ移り、チームが人員を割かなければならない運用範囲が小さくなります。

使用テクノロジー

Apache FlinkApache KafkaKubernetesRedpanda

Apache Flinkのヘルスチェックをご検討ですか?

AceMQのシニアApache Flinkエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。