概要
CloudHubのワーカーがメモリ逼迫で再起動しても、プラットフォームが報告するのは再起動が起きたという事実だけです。原因がどのフローなのか、どのオブジェクトストアなのか、どのコネクターのリークなのかまでは教えてくれません。その分析はアプリケーション側の作業であり、そこがAceMQの担当領域です。私たちはお客様がMuleSoft上で動かしているものをチューニング・デバッグするのであって、MuleSoft自体を運用するわけではありません。
課題
ワーカーが1日に何度も再起動し、処理中のメッセージが失われていました。アプリケーションは、重複排除用のキーを期限なしでインメモリのオブジェクトストアに保持し、参照用のキャッシュデータも際限なく増え続けていました。さらに、コネクターの設定がプーリングなしでリクエストごとに新しい接続を開くようになっていました。どの原因も単独なら持ちこたえられるものでしたが、組み合わさることで毎日ワーカーのメモリ上限を超えていたのです。
環境
POS、在庫、ERPの各システムを連携する、複数環境にわたるCloudHub上のMuleアプリケーション。
アプローチ
AceMQは、再起動のタイムスタンプをアプリケーションの挙動やワーカーのメトリクスと突き合わせて調査範囲を絞り込み、アプリケーション側でメモリを消費する原因として最も多い3つ、すなわちオブジェクトストアの設定、キャッシュのスコープ、コネクターのプーリングをレビューしました。専任のシニアエンジニアが24/7体制とプランに応じた15分からの対応目標のもとで、この問題に直接対応しました。
ソリューション
- ワーカーの再起動イベントをフローのアクティビティやメモリのメトリクスと突き合わせ、原因となっているフローを特定
- 上限のないインメモリのオブジェクトストアを、明示的なTTLを設定した永続ストアに移行
- 際限なく増えていた参照データについて、キャッシュのスコープに上限を設け、エビクションポリシーを設定
- リクエストごとに接続を開いていたコネクターで、接続プーリングを有効化
- 予期しない再起動が起きても処理中の作業が失われないよう、メッセージ単位の永続性を追加
- 計測した定常時とピーク時のメモリに基づいて、ワーカーの割り当てを適正化
結果
毎日のワーカー再起動は止まり、処理中のメッセージは再起動が起きても失われなくなりました。ワーカーのサイジングも、推測ではなく計測した挙動に基づいて設定されています。