ブログBoomi

Boomiインテグレーション診断で実際に見つかる問題

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 12分で読めます

Boomiインテグレーション診断で実際に見つかる問題
On this page

専門家によるBoomiのインテグレーション診断では、有能な社内チームでも自分たちのツールの内側からは見えない問題が明らかになります。ロードバランスされたエンドポイントではなく単一ノードを向いた接続、いつの間にかデフォルトから上書きされたプロトコル設定、ブローカー障害のように見えるキューの滞留、そしてインテグレーション基盤全体で共有された可観測性の欠如です。どれも明らかなエラーとしては現れません。誰も意図的に再現できない、断続的なハングとして現れます。

Boomiは、エンタープライズ向けのiPaaS(Integration Platform as a Service)です。Dell BoomiのAtomSphereランタイムが、組織のインテグレーションワークフローを支えるコネクター、API管理、データマッピングを担い、AtomSphereプラットフォームが管理するAtomまたはmoleculeのインスタンス上で動作します。(バッチではなく)リアルタイムのインテグレーションプロセスでは、このランタイムは通常メッセージング層の上に載っています。今回の案件ではそれがRabbitMQであり、以下に挙げる指摘事項のいくつかは実はこの層に潜んでいました。

以下の指摘事項は、従来型のスケジュールジョブからリアルタイムのインテグレーションプロセスへとデジタルトランスフォーメーションを進めていた連邦政府向けシステムインテグレーターに対して、AceMQが複数回のセッションにわたって実施した実際のBoomi診断に基づいています。詳細は一般化して記載しており、顧客名や個人名は伏せています。

Boomiをバッチからリアルタイムへ移行すると、なぜRabbitMQがクリティカルパスに入るのか

この案件は、移行の最中に始まりました。顧客は従来の.NETによるスケジュール型バッチ環境から離れ、リアルタイムのBoomiインテグレーションプロセスへの移行を進めており、そのリアルタイム化を可能にしていたのがRabbitMQでした。この転換によって「正常に動いている」の意味が変わります。午前3時に起動して午前8時までのどこかで終わればよかったバッチジョブなら、15分かかろうが2時間かかろうが誰も気にしませんでした。しかし、Boomiのリスナーがキューから取り出すリアルタイムのゲートウェイは、1,000件のレコードのバーストをタイムアウトなしで処理しなければなりません。バックログを吸収してくれる夜間の時間帯はもうないのです。

アーキテクチャにもその意欲が表れていました。テスト環境と本番環境には3ノードのmolecule、開発環境には単一ノードのAtom、そして環境全体で約35のRabbitMQリスナーが接続され、パブリッシュ/サブスクライブ、非同期のドキュメント送信、長時間実行のバッチ処理が並行して動いていました。接続レベルやプロトコルレベルの問題が潜む余地は大きく、それこそがBoomiのインテグレーション診断で一つひとつ確認していく対象です。

何も処理されていないのに、Boomiのリスナーが緑のままなのはなぜか

これが案件のきっかけとなった、繰り返し発生する症状でした。Boomiのリスナーはどれも自身のステータス画面では正常と表示されているのに、その背後のRabbitMQのキューはまったく動いていませんでした。目立った失敗はなく、アラートも上がらず、ただ止まっていたのです。

根本原因は、「リスナーのステータス」が実際に測っているものと、チームが測っていると思い込んでいるものとのずれにあります。Boomiのリスナーのステータスが示すのはデプロイの状態、つまりリスナーのコンポーネントが起動して稼働し続けているかどうかであり、ブローカーとのリアルタイムの接続状態ではありません。リスナーが通信していたRabbitMQのノードがダウンしたり、再起動されたり、パッチ適用で再起動されたりして、その結果リスナーの下のチャネルが切れても、リスナーは緑を表示し続けることがあります。RabbitMQはフォールトトレラントであり、多くのトポロジーではいずれ接続を回復しますが、「いずれ」はリアルタイムのSLAとは言えません。そして、決して赤にならないリスナーのダッシュボードでは、チームが調べてみる理由がありません。

BoomiのRabbitMQ接続に、ノードのIPへの直接接続ではなくF5のVIPが必要な理由

リスナーの停止を解決する糸口は、BoomiのRabbitMQ接続の設定方法にありました。診断では標準的な切り分け手順に沿って確認を進めました。接続はロードバランサーで包まれているか、プールの前段にVIPがあるか、そのプールは1つのノードに固定されるのではなく、実際にすべてのクラスターノードに分散しているか。その結果、顧客のRabbitMQ接続はF5を経由してはいたものの、本来あるべき構成にはなっていないことがわかりました。正しくロードバランスされたプールになっておらず、単一ノードへのスティッキーなルーティングを防ぐ設定もなく、ヘルスチェックはブローカーの可用性を判断する指標としては不適切なCPUベースのものでした。

修正後の構成では、その接続を、すべてのクラスターノードの前段にあるF5のVIPのDNSエントリーに向け、スティッキー設定なしの本来のロードバランスプールとして構成しました。この1つの変更で、3つの効果が同時に得られます。RabbitMQが実際に正常なノード間でルーティングと負荷分散を行えるようになること、パッチ適用のためにノードを停止してもインテグレーションの停止につながらなくなること、そしてRabbitMQのブルーグリーンアップグレードのような作業、つまりBoomiのコンポーネントに一切手を付けずにF5の背後で接続プールを切り替える作業が可能になることです。

frame_maxを下げた設定は、Boomiのインテグレーションに実際どれだけのコストをもたらすのか

RabbitMQ接続用のBoomiの環境拡張(Environment Extensions)の中に、明示的な上書き設定が埋もれていました。frame_maxが16 KBに設定されていたのです。顧客側の誰もその理由を説明できず、返ってきたのは「最初からずっとそうなっている」という類いの答えでした。RabbitMQは、AMQP 0-9-1の最大フレームサイズとしてデフォルトで131,072バイト(128 KiB)をネゴシエートします。これを16 KBに下げても何も安全にはならず、RabbitMQが各メッセージを分割するフレーム数が増えるだけです。デフォルトのサイズなら96フレーム程度で済む16 MBのペイロードが、16 KBの設定ではおよそ8,000フレームになっていました。インテグレーションが送る大きなメッセージのすべてに、見合う利点のない純粋なプロトコルのオーバーヘッドが乗っていたのです。

修正は、上書きを完全に削除し、数値をハードコードするのではなく、接続コンポーネントにプラットフォームのデフォルトをネゴシエートさせることでした。こうすれば、基盤となるRabbitMQの設定を今後変更した場合にも自動的に反映され、誰が設定したか誰も覚えていない古い値と人知れず衝突することがなくなります。

これは、インシデントとしては決して表面化しない種類の指摘事項です。誰かが5年前からのデフォルトを疑う理由を持って調べに行くまで、インテグレーションが送る大きなメッセージのすべてに、いつまでも静かに負担をかけ続けます。

滞留したEBSロガーのキューは、どのようにBoomiの本番処理を止めるのか

最も深刻な指摘事項は、本番環境でのハングでした。原因をたどると、1つの社内ログ用キューに行き着きました。Boomiのプロセスが構造化されたJSONのログレコードを共有のログテーブルに書き込むために使っていた、EBSロガーのエクスチェンジです。インシデント中、このキューではメッセージ2件がハングし、42件がリジェクトされていました。ブローカー上の未確認の件数は100を大きく超えても落ち着く気配がなく、増え続けていました。

重要だったのは、修正よりも診断です。トポロジーの別の場所でメッセージがまだ「ready」のまま残っている状態で未確認の件数が増え続けているのは、ブローカーの問題ではありません。RabbitMQは本来の役割どおり、コンシューマーに配信済みでまだ確認応答されていないメッセージを、再配信が必要になる場合に備えて保持していたのです。実際の障害はその上流にありました。コンシューマーが処理を引き受けたまま、それを完了させていなかったのです。考えられる原因は、ネットワークの瞬断、ブロックされたSQLの呼び出し、あるいは下流のタイムアウトで、ドキュメントが処理中のまま残り、確認応答が二度と返ってこなくなっていました。その状態のコンシューマーが一定数に達すると、実行スロットが飽和し、prefetch済みのメッセージが未確認のまま滞留し、ログの経路全体がその後ろで詰まりました。

復旧では、固まったコンシューマーの背後にある滞留したRabbitMQの接続を選択的に強制クローズしました。これにより、Boomiは二度と戻ってこない接続をいつまでも待ち続けるのではなく、再接続してクリーンなチャネルを張り直します。その後、未確認の件数は着実に減少しました。120台から100台を経て、バックログの解消とともに最終的には1桁台になりました。メッセージの永続性に手を付けたり、キューをパージしたりする必要は一切ありませんでした。必要だったのは、ブローカーは正常で、アプリケーション層が正常ではないことを正しく見極めることだったのです。

Boomiの競合コンシューマーにとって、prefetchとシングルアクティブコンシューマーが重要な理由

Boomiのmoleculeは、各ノードですべてのリスナーのコピーを個別に実行し、それぞれが独自の並列数の設定を持ちます。この環境では、リスナーのコピーごとの並列数が2で、3ノードのmoleculeにまたがっていたため、結果として約10個の競合コンシューマーが同じRabbitMQのキューから取り出していました。メッセージの順序が問題にならないワークロードであれば、これは妥当なスループットのパターンです。しかし、順次処理が必要なワークロードでは、10個の競合コンシューマーは、都合の悪いトラフィックパターンが来た時点で表面化する正確性のリスクになります。

RabbitMQ自身のガイダンスでは、スループットを重視するキューの最適なprefetchは100〜300の範囲とされており、prefetchを1にするとすべてが直列化されて大半の時間がラウンドトリップに費やされるため、性能が大きく低下すると明記されています。prefetchを1に下げて順序と引き換えにスループットを犠牲にするのではなく、本当に順次処理が必要なキューにシングルアクティブコンシューマー(x-single-active-consumer)を導入することを推奨しました。これにより、キューごとに常に1つのコンシューマーだけがアクティブになり、そのコンシューマーが落ちた場合は自動でフェイルオーバーします。ラウンドトリップのペナルティなしに順序を保証できるのです。顧客は、本番環境に展開する前に、下位の環境で試験導入することに合意しました。

PrometheusとGrafanaのダッシュボードを共有しないと、どんな可観測性の空白が残るのか

案件の開始時点では、BoomiとRabbitMQの間で共有された可観測性はほとんどありませんでした。開発環境ではPrometheusのJavaエージェントがBoomiのメトリクスの一部を取得していましたが、そのデータは取り込まれた直後に破棄されていました。どこにも永続化されていなかったため、何か異常が起きたときに振り返れる履歴がありませんでした。Boomi専用のGrafanaのラベル付けもなく、Boomiのランタイムから直接データを取得するOpenTelemetryのコレクターもありませんでした。そして、本当に重要なテスト環境と本番環境には何もなかったのです。

その後のセッションで、AceMQのエンジニアはBoomi/molecule側にJMX exporterを構築し、RabbitMQ向けにすでに立ち上げが進んでいたPrometheusとGrafanaのダッシュボードと対応づけ、両方を共有のダッシュボードフォルダーに配置しました。これにより、BoomiとRabbitMQのメトリクスを2つの別々のツールではなく、並べて確認できるようになりました。その中には、負荷が高い、あるいは固まっているmoleculeノードを外れ値として検出するためのPod単位のメトリクスのエクスポートと、この診断ですでに手作業で見つけていた障害パターン、つまりブロックされたスレッド、デッドロック状態、固まったまま二度と戻らないPodを対象としたしきい値ベースの検知も含まれています。

これで、この記事で挙げた他のすべての指摘事項の背後にある、本当の空白が埋まります。BoomiとRabbitMQを無関係な2つのシステムとして監視していると、リスナーの停止、ロガーのキューの滞留、frame_maxの引き下げは、外から見るとどれも同じに見えます。何かが遅い、あるいは何かが止まっているのに、どちら側から始まったのか誰にも言えないのです。並べて見られる可観測性があってこそ、それが数時間に及ぶ緊急会議ではなく、5分の診断で済むようになります。

これが、ほとんどのBoomiインテグレーション診断に共通するパターンです。プラットフォームは書類上は問題なく動いていて、本当のリスクは接続層、プロトコル設定、そして誰もまとめて見ていない2つのシステムの間にある監視の空白に潜んでいます。これを正しく整えることは、稼働率だけでなく運用効率の面でも見返りがあります。滞留するデータパイプラインが減り、ワークフローに張り付いて見守る必要がなくなり、次のチューニングを最適化するために本当に信頼できる分析が得られます。また、この内容が他のどこにも載っていない理由もそこにあります。ベンダーのドキュメントではなく、AceMQ自身のRabbitMQインテグレーション案件から得られたものだからです。インテグレーション層とそのメッセージング基盤を一度もまとめて診断したことがないなら、Boomiインテグレーション診断についてAceMQにご相談ください。

よくある質問

Boomiのインテグレーション診断では、具体的に何をチェックするのですか?

日々運用しているインテグレーションチームが内側からは気づきにくい点をチェックします。具体的には、下流システム(メッセージング層を含む)へのBoomiの接続がロードバランスされているか、それとも単一ノードを向いているか、プロトコルレベルの設定がプラットフォームのデフォルトと一致しているか、リスナーの背後に滞留メッセージや未確認(unacked)メッセージが溜まっていないか、prefetchとコンシューマーの並列数がワークロードに合わせてチューニングされているか、そしてBoomiとインテグレーション層がまとめて監視されているか、それとも2つの切り離されたシステムとして監視されているか、です。

何も処理されていないのに、Boomiのリスナーが正常と表示されるのはなぜですか?

Boomiのリスナーのステータスが示すのはデプロイの状態であり、ブローカーとのリアルタイムの接続状態ではありません。リスナーのデプロイが成功した後にRabbitMQ側でチャネルが切れると、その下の接続が失われてメッセージが止まっていても、リスナーは正常(緑)を表示し続けることがあります。

RabbitMQのframe_maxのデフォルト値はいくつで、低く設定するとBoomiのインテグレーションにどんな悪影響がありますか?

RabbitMQはデフォルトで131,072バイト(128 KiB)のframe_maxをネゴシエートします。これを強制的に下げても安全マージンは増えず、各メッセージの配信に必要なフレーム数が増えるだけです。デフォルトなら約96フレームで済む16 MBのペイロードが、16 KBに上書きすると約8,000フレームになり、Boomiがその接続で送る大きなメッセージのすべてに純粋なオーバーヘッドが上乗せされます。

Boomiの背後で滞留したRabbitMQのキューは、どうやって復旧させればよいですか?

まず、ブローカーの問題ではなくコンシューマー側の停滞であることを確認します。明示的にリジェクトされたものがないまま未確認の件数が増え続けている場合、多くはコンシューマーが処理を引き受けたまま完了していないことを意味します。原因は下流のタイムアウトや応答のない呼び出しであることがよくあります。滞留している接続をクローズして再接続を強制すれば、処理中のまま宙に浮いたメッセージが解放され、メッセージの永続性に手を付けることなくバックログを解消できます。

BoomiからRabbitMQへは、ロードバランサー経由とノードのIPへの直接接続のどちらで接続すべきですか?

ロードバランスされたVIP経由で接続すべきです。BoomiをRabbitMQの1つのノードのIPに直接向けると、そのノードの障害がそのままインテグレーションの停止につながります。F5(または同等の製品)のVIPをクラスターの前段に置けば、RabbitMQは実際に稼働しているノード間でルーティングと負荷分散を行えるようになり、Boomiの設定を変えずにRabbitMQのブルーグリーンアップグレードのような作業も可能になります。

Boomiのリスナーにおいて、prefetchのチューニングとシングルアクティブコンシューマーの違いは何ですか?

prefetchは、コンシューマーが一度に保持できる未確認の配信数を制御します。RabbitMQ自身のガイダンスでは最適なスループットが得られるのは100〜300の範囲とされており、prefetchを1にするとすべてが直列化されてスループットが落ちます。シングルアクティブコンシューマー(x-single-active-consumer)は、順序どおりの処理という別の課題を解決するものです。キューごとにアクティブなコンシューマーを常に1つだけに保ち、自動でフェイルオーバーするため、prefetch=1のような低速処理に陥ることがありません。

BoomiはETLツールですか?

主たる役割はETLではありません。Boomiはデータマッピングや変換の機能を備えたiPaaS(Integration Platform as a Service)ですが、中核となる役割は、Atom/moleculeランタイムを通じてアプリケーション、API、データソースを接続することです。専用のETLツールというより、インテグレーションとデータ管理のプラットフォームに近い製品です。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with Boomi?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

ガイド・製品比較・調査レポート

サポートとバージョンのライフサイクルをさらに深く知る

無料相談

お客様のBoomi 環境を専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる