導入事例の一覧に戻る

是正対応金融サービス・決済

1つの悪いクエリがTrinoクラスター全体を落とさないようにする

グローバル決済処理事業者

上限のない結合、スピルの設定の欠如、そしてクラスターが実際に受ける同時実行数に合っていないメモリ上限が原因で起きていた、ワーカーのクラッシュを止めました。

概要

Trinoでは、制約のない結合が1つあるだけで、ワーカーのヒープを使い果たし、他の何十ものクエリが依存しているノードを落としてしまうことがあります。AceMQは、目の前の不安定さを解消したうえで、1人のアナリストのクエリが全員にとっての障害にならないよう、リソースの制御を整備します。

課題

メモリ逼迫時のTrinoの障害は突然起こります。誤った述語を伴うクロス結合、統計情報が示していたよりもビルド側がはるかに大きかったブロードキャスト結合、あるいはフィルタリングされていないファクトテーブルに対するORDER BYは、ワーカーのヒープを上限より押し上げ、JVMを強制終了させます。リソースグループがなければ、1つのクエリとクラスター全体の間を隔てるものは何もなく、再試行すれば次の試行はさらに悪化します。

環境

Kubernetesまたは仮想マシン上のStarburst Enterpriseで、アドホックとスケジュール実行の分析ワークロードが混在する環境。

アプローチ

AceMQは、JVMとクエリのログから原因となっている具体的な演算子とクエリを特定し、そのうえでクエリ単位とノード単位のメモリ上限を適用して、問題のクエリがワーカーを道連れにするのではなく、きれいに失敗するようにします。正当にメモリを超える結合やソートにはディスクへのスピルを設定し、リソースグループでキャパシティを分割して、スケジュール実行の処理がアドホックな探索の影響を受けないようにします。

ソリューション

  1. JVMのヒープ、GCログ、クエリイベントを分析し、クラッシュの原因を具体的な演算子とクエリの形に特定
  2. 実際の同時実行数に合わせたquery.max-memory、query.max-memory-per-node、memory.heap-headroomのチューニング
  3. 正当にメモリを超える結合、集計、ソートのための、適切なローカルストレージを伴うディスクへのスピルの設定
  4. スケジュール実行のパイプライン、BIツール、アナリストのアドホックなクエリを、厳格な同時実行数の上限で分けるリソースグループの定義
  5. 結合の分散方式と順序変更のレビュー。統計情報がオプティマイザーを誤らせている場合のブロードキャストしきい値の修正を含む
  6. コーディネーターのサイジングとワーカーノードのプロファイルのレビュー、そしてオートスケーリングするクラスターのためのグレースフルシャットダウンの設定

結果

ワーカーのクラッシュは止まり、割り当てを超えたクエリは、他のノードを道連れにするのではなく、明確なリソースエラーで失敗するようになります。アドホックな負荷がクラスター全体を消費できなくなるため、スケジュール実行のパイプラインは予定どおりに完了します。

使用テクノロジー

StarburstTrinoKubernetesDelta Lake

Starburstの本番環境で問題が発生していますか?

AceMQのシニアStarburstエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。