Volver a todos los casos de uso

SoporteMultisectorial

Soporte 24/7 con ingenieros sénior asignados y objetivos de respuesta desde 15 minutos, según el plan

Proveedor de analítica para retail

Soporte continuo para los fallos de Snowpipe, streams y tasks, incluidos los streams obsoletos que han superado su periodo de retención y las cargas parciales silenciosas.

Descripción general

Un proveedor de analítica para retail cargaba datos de forma continua mediante Snowpipe en tablas de staging y después utilizaba streams y tasks para transformarlos aguas abajo. Los fallos en esta cadena aparecían días más tarde como datos ausentes en los informes, y no como alertas. AceMQ asumió el soporte con ingenieros sénior asignados y escalado directo.

Reto

Los modos de fallo eran silenciosos, no ruidosos. Los streams que quedan obsoletos al superar su periodo de retención de datos dejan de devolver cambios sin avisar. Las cadenas de tasks se detienen cuando falla una tarea predecesora y dejan sin actualizar las tablas aguas abajo sin generar nada. Los errores de carga de ficheros de Snowpipe se acumulan en un historial de cargas que nadie mira. Ninguno de ellos generaba una alerta.

Entorno

Snowflake en AWS con ingesta mediante Snowpipe desde almacenamiento de objetos, que alimenta cadenas de transformación con streams y tasks.

Enfoque

AceMQ empezó por hacer visibles los modos de fallo silenciosos, porque los incidentes recurrentes eran, en el fondo, un problema de detección más que de ingeniería. Después se corrigieron la retención y el diseño de las tasks para que esas situaciones se dieran con menos frecuencia, con un escalado que cubre los casos que siguen requiriendo criterio.

Solución

  1. Instrumentación de la obsolescencia de los streams frente a sus periodos de retención de datos, con alertas antes del punto de caducidad
  2. Monitorización de la ejecución de las cadenas de tasks para que una tarea predecesora detenida genere una alerta en lugar de pararse en silencio
  3. Integración de los errores del historial de cargas de Snowpipe y de las cargas parciales en el canal de alertas existente
  4. Revisión y corrección de la retención de datos en las tablas que alimentan streams de intervalo largo
  5. Reestructuración de las dependencias entre tasks para limitar el radio de impacto cuando falla una sola tarea
  6. Escalado 24/7 a ingenieros sénior de Snowflake con objetivos de respuesta desde 15 minutos, según el plan

Resultado final

Los fallos de ingesta aparecen ahora en cuestión de minutos, en lugar de descubrirse días después en los informes. Los incidentes por streams obsoletos cesaron una vez que la retención se alineó con los intervalos de las tasks y las alertas empezaron a saltar antes de la caducidad.

Tecnologías

SnowflakeSnowpipeAirflowS3

¿Necesita soporte experto de Snowflake?

Los ingenieros sénior de Snowflake de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.