Descripción general
Una plataforma de comercio perdió la visibilidad de sus métricas cuando sus servidores de Prometheus empezaron a morir por OOM a los pocos minutos de arrancar. El detonante fue un despliegue de rutina de una aplicación; la causa, un único label nuevo.
Desafío
Un equipo había agregado un identificador de usuario como label en un contador de solicitudes. Cada usuario distinto creaba una nueva serie temporal, así que la cantidad de series activas crecía sin límite durante las horas de tráfico. Prometheus consumía memoria hasta que el kernel lo mataba y, al reiniciar, tenía que hacer el replay de un write-ahead log que había crecido enormemente, lo que tardaba tanto que el proceso volvía a morir antes de terminar. El sistema de monitoreo estaba en un bucle de caídas del que no podía salir por sí solo, y el equipo no tenía ninguna métrica mientras estaba caído.
Entorno
Prometheus en Kubernetes con scraping de varios cientos de targets, que alimenta dashboards de Grafana y rutas de Alertmanager.
Enfoque
La primera prioridad era lograr que un proceso de Prometheus se mantuviera en pie, lo que implicaba romper el bucle de replay del WAL antes de ocuparse de la métrica en sí. Levantamos el servidor en un estado en el que pudiera completar el replay, identificamos la serie problemática por su cardinalidad, la descartamos en la etapa de relabeling para que dejara de ingerirse y luego implementamos salvaguardas para que el mismo tipo de error no pueda repetirse sin que nadie lo note.
Solución
- Ruptura del bucle de caídas dándole al proceso el margen suficiente para completar el replay del WAL, y confirmación de que el bloqueo era de memoria y no de corrupción
- Ordenamiento de las series por cardinalidad con el estado de la TSDB para identificar el label problemático en minutos, en lugar de buscarlo a mano
- Descarte del label sin límite en metric_relabel_configs para que deje de ingerirse, emita lo que emita la aplicación
- Aplicación de sample_limit y label_limit por scrape config para que un solo target defectuoso no pueda volver a tumbar el servidor
- Alerta de cardinalidad sobre la tasa de crecimiento de las series activas que se dispara antes de que la memoria llegue a un nivel crítico
- Trabajo con el equipo de la aplicación sobre el patrón correcto: la identidad del usuario va en los logs y las trazas, no en los labels de las métricas
Resultado final
La cantidad de series activas volvió a un nivel sostenible y el bucle de caídas por OOM terminó el mismo día. Desde entonces, los límites a nivel de scraping detectaron en la ingesta otros dos errores de cardinalidad antes de que alguno afectara al servidor.