Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Detener una explosión de cardinalidad antes de que tumbe la monitorización para siempre

Plataforma de comercio digital

Remediación de emergencia de unos servidores de Prometheus que el OOM killer mataba una y otra vez después de que un despliegue introdujera una etiqueta sin límite de valores.

Descripción general

Una plataforma de comercio perdió la visibilidad de sus métricas cuando el sistema empezó a matar sus servidores de Prometheus por falta de memoria a los pocos minutos de arrancar. El detonante fue un despliegue rutinario de la aplicación; la causa, una única etiqueta nueva.

Reto

Un equipo había añadido un identificador de usuario como etiqueta en un contador de solicitudes. Cada usuario distinto creaba una nueva serie temporal, así que el número de series activas crecía sin límite durante las horas de tráfico. Prometheus consumía memoria hasta que el kernel lo mataba y, al reiniciarse, tenía que hacer el replay de un write-ahead log que había crecido enormemente, lo que tardaba tanto que el proceso volvía a morir antes de terminar. El sistema de monitorización había entrado en un bucle de caídas del que no podía salir por sí solo, y el equipo no tenía ninguna métrica mientras estaba caído.

Entorno

Prometheus en Kubernetes recogiendo métricas de varios cientos de targets, que alimentan dashboards de Grafana y rutas de Alertmanager.

Enfoque

La primera prioridad era conseguir que un proceso de Prometheus se mantuviera en pie, lo que obligaba a romper el bucle de replay del WAL antes de ocuparse de la propia métrica. Levantamos el servidor en un estado en el que pudiera completar el replay, identificamos la serie problemática por su cardinalidad, la descartamos en la fase de relabel para que dejara de ingerirse y, después, implantamos salvaguardas para que el mismo tipo de error no pueda repetirse sin que nadie se entere.

Solución

  1. Ruptura del bucle de caídas dando al proceso margen suficiente para completar el replay del WAL, con la confirmación posterior de que el bloqueo se debía a la memoria y no a datos corruptos
  2. Clasificación de las series por cardinalidad con el estado de la TSDB para identificar la etiqueta problemática en minutos, sin necesidad de inspección manual
  3. Descarte de la etiqueta sin límite en metric_relabel_configs para que dejara de ingerirse, emita lo que emita la aplicación
  4. Aplicación de sample_limit y label_limit en cada scrape config para que un solo target defectuoso no pueda volver a tumbar el servidor
  5. Alerta de cardinalidad sobre la tasa de crecimiento de las series activas, que salta antes de que la memoria llegue a un nivel crítico
  6. Trabajo con el equipo de la aplicación sobre el patrón correcto: la identidad del usuario va en los logs y las trazas, no en las etiquetas de las métricas

Resultado final

El número de series activas volvió a un nivel sostenible y el bucle de caídas por OOM terminó el mismo día. Desde entonces, los límites a nivel de scrape han detenido en la ingesta otros dos errores de cardinalidad antes de que ninguno afectara al servidor.

Tecnologías

PrometheusKubernetesGrafanaAlertmanager

¿Se enfrenta a un problema de Prometheus en producción?

Los ingenieros sénior de Prometheus de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.