Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Frenar una explosión de cardinalidad antes de que tumbe el monitoreo para siempre

Plataforma de comercio digital

Remediación de emergencia de servidores de Prometheus que el OOM killer terminaba una y otra vez después de que un despliegue introdujo un label sin límite de valores.

Descripción general

Una plataforma de comercio perdió la visibilidad de sus métricas cuando sus servidores de Prometheus empezaron a morir por OOM a los pocos minutos de arrancar. El detonante fue un despliegue de rutina de una aplicación; la causa, un único label nuevo.

Desafío

Un equipo había agregado un identificador de usuario como label en un contador de solicitudes. Cada usuario distinto creaba una nueva serie temporal, así que la cantidad de series activas crecía sin límite durante las horas de tráfico. Prometheus consumía memoria hasta que el kernel lo mataba y, al reiniciar, tenía que hacer el replay de un write-ahead log que había crecido enormemente, lo que tardaba tanto que el proceso volvía a morir antes de terminar. El sistema de monitoreo estaba en un bucle de caídas del que no podía salir por sí solo, y el equipo no tenía ninguna métrica mientras estaba caído.

Entorno

Prometheus en Kubernetes con scraping de varios cientos de targets, que alimenta dashboards de Grafana y rutas de Alertmanager.

Enfoque

La primera prioridad era lograr que un proceso de Prometheus se mantuviera en pie, lo que implicaba romper el bucle de replay del WAL antes de ocuparse de la métrica en sí. Levantamos el servidor en un estado en el que pudiera completar el replay, identificamos la serie problemática por su cardinalidad, la descartamos en la etapa de relabeling para que dejara de ingerirse y luego implementamos salvaguardas para que el mismo tipo de error no pueda repetirse sin que nadie lo note.

Solución

  1. Ruptura del bucle de caídas dándole al proceso el margen suficiente para completar el replay del WAL, y confirmación de que el bloqueo era de memoria y no de corrupción
  2. Ordenamiento de las series por cardinalidad con el estado de la TSDB para identificar el label problemático en minutos, en lugar de buscarlo a mano
  3. Descarte del label sin límite en metric_relabel_configs para que deje de ingerirse, emita lo que emita la aplicación
  4. Aplicación de sample_limit y label_limit por scrape config para que un solo target defectuoso no pueda volver a tumbar el servidor
  5. Alerta de cardinalidad sobre la tasa de crecimiento de las series activas que se dispara antes de que la memoria llegue a un nivel crítico
  6. Trabajo con el equipo de la aplicación sobre el patrón correcto: la identidad del usuario va en los logs y las trazas, no en los labels de las métricas

Resultado final

La cantidad de series activas volvió a un nivel sostenible y el bucle de caídas por OOM terminó el mismo día. Desde entonces, los límites a nivel de scraping detectaron en la ingesta otros dos errores de cardinalidad antes de que alguno afectara al servidor.

Tecnologías

PrometheusKubernetesGrafanaAlertmanager

¿Enfrenta un problema de Prometheus en producción?

Los ingenieros sénior de Prometheus de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.