概要
ある小売業向けアナリティクス企業は、Snowpipeを通じてステージングテーブルへ継続的にデータをロードし、ストリームとタスクを使って下流で変換していました。この処理チェーンで起きた障害は、アラートとしてではなく、数日後にレポートのデータ欠落として表面化していました。AceMQは専任のシニアエンジニアと直接のエスカレーション体制でサポートを引き継ぎました。
課題
障害は派手に起きるのではなく、静かに起きていました。データ保持期間を過ぎて古くなったストリームは、何の通知もなく変更データを返さなくなります。タスクチェーンは先行タスクが失敗すると停止し、何も報告しないまま下流のテーブルを更新されない状態で放置します。Snowpipeのファイルロードのエラーは、誰も見ないロード履歴に溜まっていきます。いずれもアラートを発していませんでした。
環境
AWS上のSnowflake。オブジェクトストレージからSnowpipeでデータを取り込み、ストリームとタスクによる変換チェーンへ渡す構成。
アプローチ
繰り返し発生していたインシデントは、本質的にエンジニアリングの問題ではなく検知の問題だったため、AceMQはまず気づかれない障害を可視化しました。そのうえで、こうした状況がそもそも起きにくくなるよう保持期間とタスクの設計を修正し、なお判断が必要なケースはエスカレーションでカバーする体制にしました。
ソリューション
- データ保持期間に対するストリームの古さを計測し、期限切れになる前にアラートを発報
- タスクチェーンの実行監視を追加し、先行タスクが停止したときに黙って止まるのではなくアラートが上がるように
- Snowpipeのロード履歴のエラーと部分ロードの状況を、既存のアラートチャネルに通知
- 長い間隔で読み取られるストリームの元テーブルについて、データ保持期間の設定を見直して修正
- 1つのタスクが失敗したときの影響範囲を限定できるよう、タスクの依存関係を再構成
- プランに応じた15分からの対応目標のもと、Snowflakeのシニアエンジニアへの24/7のエスカレーション体制を確立
結果
データ取り込みの障害は、数日後にレポートで発覚するのではなく、数分以内に表面化するようになりました。保持期間をタスクの実行間隔に合わせ、期限切れの前にアラートが発報されるようにしたことで、ストリームが古くなるインシデントはなくなりました。