Zurück zu allen Kundenbeispielen

SupportBranchenübergreifend

24/7-Support mit namentlich zugeordneten Senior Engineers und Reaktionszeitzielen ab 15 Minuten, je nach Plan

Anbieter von Retail-Analytics

Laufender Support bei Fehlern in Snowpipe, Streams und Tasks – einschließlich veralteter Streams jenseits ihres Retention-Fensters und unbemerkter Teilladungen.

Überblick

Ein Anbieter von Retail-Analytics lud Daten kontinuierlich über Snowpipe in Staging-Tabellen und transformierte sie anschließend mit Streams und Tasks weiter. Fehler in dieser Kette zeigten sich erst Tage später als fehlende Daten in Reports statt als Alarme. AceMQ hat den Support mit namentlich zugeordneten Senior Engineers und direkter Eskalation übernommen.

Herausforderung

Die Fehlerbilder waren leise statt laut. Streams, die über ihr Data-Retention-Fenster hinaus veralten, liefern stillschweigend keine Änderungsdaten mehr. Task-Ketten halten bei einem fehlgeschlagenen Vorgänger an und lassen nachgelagerte Tabellen unaktualisiert, ohne irgendetwas zu melden. Ladefehler von Snowpipe sammeln sich in der Load History, wo niemand hinschaut. Keiner dieser Fälle löste einen Alarm aus.

Umgebung

Snowflake auf AWS mit Snowpipe-Ingestion aus Object Storage, die Transformationsketten aus Streams und Tasks speist.

Vorgehen

AceMQ hat zuerst die stillen Fehlerbilder sichtbar gemacht, denn die wiederkehrenden Incidents waren im Kern ein Erkennungs- und kein Engineering-Problem. Anschließend wurden Retention und Task-Design korrigiert, damit diese Zustände seltener auftreten; Fälle, die weiterhin eine Einschätzung erfordern, deckt die Eskalation ab.

Lösung

  1. Monitoring veralteter Streams im Verhältnis zu den Data-Retention-Fenstern, mit Alarm vor dem Ablaufzeitpunkt
  2. Überwachung der Ausführung von Task-Ketten, damit ein angehaltener Vorgänger einen Alarm auslöst, statt stillschweigend stehen zu bleiben
  3. Fehler aus der Snowpipe-Load-History und Teilladungen in den bestehenden Alerting-Kanal überführt
  4. Data-Retention-Einstellungen der Tabellen geprüft und korrigiert, die Streams mit langen Intervallen speisen
  5. Task-Abhängigkeiten neu strukturiert, um den Blast Radius beim Ausfall eines einzelnen Tasks zu begrenzen
  6. 24/7-Eskalation an Senior Engineers für Snowflake mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, eingerichtet

Resultat

Ingestion-Fehler werden jetzt innerhalb von Minuten sichtbar, statt Tage später in Reports aufzufallen. Incidents mit veralteten Streams traten nicht mehr auf, sobald die Retention auf die Task-Intervalle abgestimmt war und der Alarm vor dem Ablauf auslöste.

Technologien

SnowflakeSnowpipeAirflowS3

Brauchen Sie Expertensupport für Snowflake?

Die Senior Engineers von AceMQ für Snowflake haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.