概要
Muleのデフォルトであるインメモリのリピータブルストリーミングは、ペイロードが設定されたバッファを超えるまでは問題なく動作します。しかし超えた時点で、挙動はほとんどのアプリケーションが一度も設定していないストリーミング戦略に完全に依存することになります。この問題が表面化するのは大容量ファイルや大きなレスポンスを扱う連携で、たいていは本番環境で、たいていは取引先の規模が拡大した後です。
課題
ある取引先とのファイル連携が、ファイルサイズが数百MBを超えたところで失敗し始めました。フローでは、デフォルトのインメモリのリピータブルストリームのまま、ペイロード全体に対してDataWeaveの変換とFor Eachスコープを使っていたため、ドキュメント全体がヒープ上に複数回展開されていました。ワーカーは処理の途中で強制終了され、リトライ時には取引先のファイルが最初から再処理されるため、負荷がさらに積み重なっていました。
環境
取引先のファイルフィードとAPIトラフィックを処理し、クラウドデータベースや社内サービスと連携する、CloudHubのワーカー上のMuleアプリケーション。
アプローチ
AceMQは、失敗するファイルを再現する間にワーカーのヒープをプロファイリングし、ペイロードがどこで展開されているかを確認したうえで、バッファリングではなくストリーミングで処理するようフローを作り直しました。なお、AceMQはMuleSoftのプラットフォームを運用しているわけではありません。この作業の対象は、プラットフォーム上で稼働するお客様のアプリケーション、フロー、連携設計です。
ソリューション
- 障害を再現している間にワーカーのヒープをプロファイリングし、ペイロードが展開されている箇所を特定
- 大きなペイロード向けに、適切なバッファサイズでファイルストア型のリピータブルストリーミングを設定
- ドキュメント全体をメモリに読み込むのではなく、ストリーミングで処理するようDataWeaveの変換を作り直し
- ペイロード全体の反復処理を、上限付きのレコードブロックによるバッチ処理に置き換え
- リトライ時にファイル全体を最初からやり直すのではなく、レコードのチェックポイントから再開するように変更
- これまでに観測された最大の取引先ファイルを大きく上回るペイロードで負荷試験を実施
結果
メモリ不足の障害は止まり、連携は現在、同じワーカーのサイズのまま、当初障害を引き起こしたサイズの数倍のファイルを処理しています。