Descripción general
Una plataforma de comercio perdió la visibilidad de sus métricas cuando el sistema empezó a matar sus servidores de Prometheus por falta de memoria a los pocos minutos de arrancar. El detonante fue un despliegue rutinario de la aplicación; la causa, una única etiqueta nueva.
Reto
Un equipo había añadido un identificador de usuario como etiqueta en un contador de solicitudes. Cada usuario distinto creaba una nueva serie temporal, así que el número de series activas crecía sin límite durante las horas de tráfico. Prometheus consumía memoria hasta que el kernel lo mataba y, al reiniciarse, tenía que hacer el replay de un write-ahead log que había crecido enormemente, lo que tardaba tanto que el proceso volvía a morir antes de terminar. El sistema de monitorización había entrado en un bucle de caídas del que no podía salir por sí solo, y el equipo no tenía ninguna métrica mientras estaba caído.
Entorno
Prometheus en Kubernetes recogiendo métricas de varios cientos de targets, que alimentan dashboards de Grafana y rutas de Alertmanager.
Enfoque
La primera prioridad era conseguir que un proceso de Prometheus se mantuviera en pie, lo que obligaba a romper el bucle de replay del WAL antes de ocuparse de la propia métrica. Levantamos el servidor en un estado en el que pudiera completar el replay, identificamos la serie problemática por su cardinalidad, la descartamos en la fase de relabel para que dejara de ingerirse y, después, implantamos salvaguardas para que el mismo tipo de error no pueda repetirse sin que nadie se entere.
Solución
- Ruptura del bucle de caídas dando al proceso margen suficiente para completar el replay del WAL, con la confirmación posterior de que el bloqueo se debía a la memoria y no a datos corruptos
- Clasificación de las series por cardinalidad con el estado de la TSDB para identificar la etiqueta problemática en minutos, sin necesidad de inspección manual
- Descarte de la etiqueta sin límite en metric_relabel_configs para que dejara de ingerirse, emita lo que emita la aplicación
- Aplicación de sample_limit y label_limit en cada scrape config para que un solo target defectuoso no pueda volver a tumbar el servidor
- Alerta de cardinalidad sobre la tasa de crecimiento de las series activas, que salta antes de que la memoria llegue a un nivel crítico
- Trabajo con el equipo de la aplicación sobre el patrón correcto: la identidad del usuario va en los logs y las trazas, no en las etiquetas de las métricas
Resultado final
El número de series activas volvió a un nivel sostenible y el bucle de caídas por OOM terminó el mismo día. Desde entonces, los límites a nivel de scrape han detenido en la ingesta otros dos errores de cardinalidad antes de que ninguno afectara al servidor.