概要
Pentahoのクラスター実行では処理がCarteスレーブサーバーに移されるため、スレーブの状態が悪化すると、トランスフォーメーションがいつまでも終わらないという症状として現れます。マスターはそれを実行中のままとして報告し続け、運用担当者にできるのは再起動だけです。
課題
クラスター化されたトランスフォーメーションが、週に何度もハングするようになりました。CarteスレーブのJVMは1日を通して着実に大きくなり、解放されることはありませんでした。孤立したトランスフォーメーションのセッションがスレーブのレジストリに溜まり、マスターを再起動しても消えませんでした。バッチの時間枠は、本番業務のシフトにまで食い込むようになっていました。
環境
オンプレミスのLinuxホスト上に、Carteのマスターと複数のスレーブサーバーを配置したPentaho Data Integration。製造部門のレポーティング用データウェアハウスにデータを供給しています。
アプローチ
AceMQは、ハングしたスレーブを再起動するのではなく、ヒープダンプとスレッドダンプを取得し、どこで行が滞留し、どのステップがブロックしているのかを特定しました。そのうえで、際限のないバッファリングを引き起こしていた行セットのサイズを修正し、完了したトランスフォーメーションがスレーブのレジストリから片付けられるようライフサイクルの処理を追加しました。さらにスレーブをコンテナ化し、状態が悪化したインスタンスは手当てするのではなく置き換えるようにしました。
ソリューション
- ハングしたCarteスレーブからヒープダンプとスレッドダンプを取得し、ブロックしているステップとバッファリングの挙動を特定
- クラスター化されたステップが際限なくバッファリングしないよう、行セットのサイズとパーティショニングを修正
- 完了したセッションと孤立したトランスフォーメーションのセッションを、スレーブのレジストリから削除する処理を追加
- Carteスレーブをヘルスチェック付きでコンテナ化し、状態が悪化したインスタンスを自動的に置き換え
- スレーブのJVMメモリと実行中のトランスフォーメーション数を計測し、アラートのしきい値を設定
結果
毎週のハングは止まり、バッチ処理は割り当てられた時間枠内に収まるようになりました。スレーブの再起動は、夜間の手作業からまれに起きる自動化されたイベントに変わりました。