Volver a todos los casos de uso

SoporteServicios financieros / Pagos

Ingenieros sénior asignados y de guardia para incidencias de WAL, replicación y failover

Plataforma de banca digital

Soporte continuo de un clúster en el que un replication slot lógico abandonado llenaba una y otra vez el volumen del WAL y amenazaba con detener el primario.

Descripción general

Una plataforma bancaria utilizaba logical decoding para alimentar un pipeline de change data capture. Cuando el consumidor aguas abajo se quedaba parado, el replication slot dejaba de avanzar y el primario retenía todos los segmentos del WAL generados desde ese momento. El disco se llenó dos veces antes de que AceMQ asumiera el soporte con ingenieros sénior asignados y escalado directo, sin triaje de nivel 1.

Reto

Un replication slot retenido es una de las pocas situaciones que pueden tumbar un primario de PostgreSQL por un mecanismo que no tiene nada que ver con la carga de consultas. La monitorización del cliente vigilaba el uso del disco, pero no el retraso de los slots, así que la primera señal era una alerta de disco con solo unos minutos de margen. Distinguir un consumidor temporalmente lento de un slot realmente abandonado requería un criterio que el equipo de guardia no tenía.

Entorno

PostgreSQL en AWS con replicación lógica que alimenta un pipeline de change data capture con Debezium y Kafka.

Enfoque

AceMQ convirtió el retraso de los slots en una señal de primer nivel, por delante del uso del disco, y después estableció una política para el ciclo de vida de los slots: qué motiva una investigación, qué justifica reiniciar un consumidor y qué justifica eliminar un slot. Se configuraron salvaguardas para que un consumidor parado degrade el pipeline en lugar del primario.

Solución

  1. Incorporación a la monitorización del retraso de los replication slots y del tamaño del WAL retenido, con umbrales muy por delante del agotamiento del disco
  2. Configuración de max_slot_wal_keep_size para que un consumidor parado invalide su slot en lugar de llenar el volumen del WAL
  3. Separación del WAL en un volumen propio con capacidad y alertas independientes
  4. Documentación de una política de ciclo de vida de los slots que cubre la investigación, el reinicio de consumidores y la eliminación segura de slots
  5. Revisión de los ajustes de checkpoints y de tamaño del WAL que provocaban una amplificación de escritura innecesaria
  6. Escalado 24/7 directo a ingenieros sénior de PostgreSQL para incidentes de slots y de replicación

Resultado final

Los incidentes en el volumen del WAL desaparecieron por completo. Los bloqueos de los consumidores aparecen ahora como alertas de retraso del pipeline horas antes de que puedan afectar al primario, y el equipo del cliente resuelve los casos rutinarios sin necesidad de escalar.

Tecnologías

PostgreSQLDebeziumKafkaPrometheus

¿Necesita soporte experto de PostgreSQL?

Los ingenieros sénior de PostgreSQL de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.