Zurück zu allen Kundenbeispielen

FehlerbehebungFinanzdienstleistungen / Zahlungsverkehr

WiredTiger-Eviction-Thrashing stoppen, bevor es die Anwendungsschicht lahmlegt

Globaler Zahlungsdienstleister

Diagnose und Behebung von Anwendungs-Stalls, verursacht durch ein Working Set, das über den WiredTiger-Cache hinausgewachsen war und den Server unter dauerhaften Eviction-Druck setzte.

Überblick

Eine Zahlungsplattform verzeichnete plötzlich Stalls von mehreren Sekunden bei Schreibvorgängen, die zuvor in einstelligen Millisekunden abgeschlossen waren. Die Servermetriken zeigten den WiredTiger-Cache dauerhaft am Eviction-Trigger, und Anwendungs-Threads wurden zum Verdrängen von Pages herangezogen. Die Engineers von AceMQ wurden im Rahmen von Reaktionszeitzielen ab 15 Minuten, je nach Plan, hinzugezogen und bearbeiteten den Incident gemeinsam mit dem DBA-Team des Kunden.

Herausforderung

Das Working Set war über die Cache-Zuteilung von WiredTiger hinausgewachsen, sodass Read Misses die Eviction von Dirty Pages im Hot Path erzwangen. Sobald Anwendungs-Threads an der Eviction beteiligt waren, stieg die Latenz nichtlinear an, und die Connection Pools vorgelagerter Systeme liefen voll. Das Team hatte das Problem als Netzwerkproblem behandelt, weil sich das Symptom als clientseitige Timeouts zeigte und nicht als langsame Queries.

Umgebung

MongoDB-Replica-Sets auf Bare Metal als Basis für einen Autorisierungsdienst für Transaktionen mit hohem Volumen.

Vorgehen

AceMQ korrelierte die Eviction-Zähler aus serverStatus, den Dirty-Anteil des Cache und die Checkpoint-Dauer mit dem Latenzhistogramm der Anwendung und bestätigte so die Eviction – nicht Disk oder Netzwerk – als Ursache. Danach teilte sich die Arbeit in eine sofortige Entlastung und dauerhafte Korrekturen am Footprint von Indizes und Dokumenten, damit das Working Set wieder in den Cache passte.

Lösung

  1. WiredTiger-Eviction-Zähler, Dirty-Ratio des Cache und Checkpoint-Dauer mit der clientseitigen Latenz korreliert, um den tatsächlichen Engpass zu isolieren
  2. cacheSizeGB auf den tatsächlichen Hostspeicher und die Container-Limits abgestimmt statt auf die Standardheuristik „halber Arbeitsspeicher“
  3. Redundante Compound-Indizes identifiziert und entfernt, die Cache belegten, ohne irgendeine Query-Form zu bedienen
  4. Die beiden schwersten Collections überarbeitet, um die Dokumentgröße zu verringern und unbegrenzt wachsende Arrays zu beseitigen
  5. Eviction-Druck, Dirty-Anteil des Cache und Checkpoint-Dauer in die Alerting-Baseline aufgenommen, damit der Zustand erkannt wird, bevor er die Anwendungs-Threads erreicht

Resultat

Die Eviction lief wieder in den Hintergrund-Threads, und die Schreiblatenz kehrte in ihren normalen Bereich zurück, womit die Client-Timeouts vollständig verschwanden. Der Kunde verfügt jetzt über ein Frühwarnsignal für Cache-Druck und ein dokumentiertes Dimensionierungsmodell für künftiges Datenwachstum.

Technologien

MongoDBKubernetesPrometheusLinux

Haben Sie ein Produktionsproblem mit MongoDB?

Die Senior Engineers von AceMQ für MongoDB haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.