Retour à tous les cas d'usage

AuditSecteur public / défense

Établir ce qui est réellement récupérable, et ce qui ne l'est pas

Organisme du secteur public

Audit de la configuration de persistance, de la topologie de réplication et du comportement en cas de failover, au regard de la durabilité réellement exigée par les workloads.

Présentation

Un organisme du secteur public exploitait Redis pour plusieurs workloads aux besoins de durabilité différents, mais avec une seule configuration héritée. Personne ne pouvait dire quelles données survivaient à la panne d'un hôte et lesquelles étaient perdues. AceMQ a évalué le déploiement au regard des exigences réelles de chaque workload.

Défi

Les options de persistance de Redis arbitrent entre durabilité et latence d'une manière facile à mal configurer et difficile à remarquer avant une panne. Les instances de l'organisme utilisaient des intervalles de snapshot qui pouvaient faire perdre plusieurs minutes d'écritures, alors que certains workloads étaient supposés durables. La réplication et le failover n'avaient jamais été testés : le comportement de promotion et la perte de données lors d'un failover restaient inconnus.

Environnement

Instances Redis on-premise avec failover géré par Sentinel, pour des workloads de cache, de file d'attente et de session.

Approche

AceMQ a classé chaque workload selon la perte qu'il pouvait réellement tolérer, puis l'a comparée à ce que garantissait la configuration en place. Le failover a été déclenché volontairement, avec une perte de données mesurée plutôt qu'estimée, afin de documenter preuves à l'appui l'écart entre les hypothèses et le comportement réel.

Solution

  1. Classement de chaque workload selon la perte de données tolérable, comparée à ce que la configuration garantit réellement
  2. Revue, instance par instance, des intervalles de snapshot et de la politique fsync de l'append-only file au regard de ces exigences
  3. Déclenchement volontaire du failover Sentinel et mesure de la perte de données et du temps de promotion réels
  4. Évaluation de la topologie de réplication, de la configuration du quorum et de l'exposition au split-brain
  5. Vérification des procédures de restauration à partir des artefacts de persistance existants, avec des tests de reprise chronométrés
  6. Remise d'une matrice de durabilité par workload, avec les changements de configuration nécessaires pour combler chaque écart

Résultat obtenu

L'organisme dispose désormais d'un état documenté et étayé de ce à quoi chaque workload survit, en lieu et place d'une hypothèse jamais testée. Deux workloads jugés durables ne l'étaient pas, et ont été reconfigurés avant qu'une panne ne le démontre.

Technologies

RedisRedis SentinelLinuxPrometheus

Prêt pour un bilan de santé Redis ?

Les ingénieurs Redis seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.