Volver a todos los casos de uso

SoporteServicios financieros / Pagos

Ingenieros sénior asignados de guardia para eventos de WAL, replicación y failover

Plataforma de banca digital

Soporte continuo para un clúster en el que un replication slot lógico abandonado llenaba una y otra vez el volumen del WAL y amenazaba con detener el primario.

Descripción general

Una plataforma bancaria usaba logical decoding para alimentar un pipeline de change data capture. Cuando el consumidor aguas abajo se detenía, el replication slot dejaba de avanzar y el primario retenía todos los segmentos del WAL desde ese momento. El disco se llenó dos veces antes de que AceMQ asumiera el soporte con ingenieros sénior asignados y escalamiento directo, sin triaje de nivel 1.

Desafío

Un replication slot retenido es una de las pocas condiciones que pueden tirar abajo un primario de PostgreSQL por un mecanismo ajeno a la carga de consultas. El monitoreo del cliente vigilaba el uso de disco, pero no el retraso de los slots, así que la primera señal era una alerta de disco con apenas minutos de margen. Distinguir un consumidor temporalmente lento de un slot realmente abandonado exigía un criterio que el equipo de guardia no tenía.

Entorno

PostgreSQL en AWS con replicación lógica que alimenta un pipeline de change data capture con Debezium y Kafka.

Enfoque

AceMQ instrumentó el retraso de los slots como una señal de primer nivel, por delante del uso de disco, y luego definió una política para el ciclo de vida de los slots: qué dispara una investigación, qué dispara un reinicio del consumidor y qué justifica eliminar un slot. Se configuraron salvaguardas para que un consumidor detenido degrade el pipeline en lugar del primario.

Solución

  1. Incorporación al monitoreo del retraso de los replication slots y del tamaño de WAL retenido, con umbrales muy anteriores al agotamiento del disco
  2. Configuración de max_slot_wal_keep_size para que un consumidor detenido invalide su slot en lugar de llenar el volumen del WAL
  3. Separación del WAL en su propio volumen, con capacidad y alertas independientes
  4. Documentación de la política de ciclo de vida de los slots, que abarca la investigación, el reinicio del consumidor y la eliminación segura de slots
  5. Revisión de los ajustes de checkpoints y de tamaño del WAL que provocaban una amplificación de escritura innecesaria
  6. Escalamiento 24/7 directo a ingenieros sénior de PostgreSQL para incidentes de slots y replicación

Resultado final

Los incidentes del volumen del WAL desaparecieron por completo. Ahora, las detenciones del consumidor aparecen como alertas de retraso del pipeline horas antes de que puedan afectar al primario, y el equipo del cliente resuelve los casos de rutina sin escalar.

Tecnologías

PostgreSQLDebeziumKafkaPrometheus

¿Necesita soporte experto de PostgreSQL?

Los ingenieros sénior de PostgreSQL de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.