Revue HA
L'offre d'entrée : topologie, réplication, marge de capacité, sauvegardes et monitoring examinés au regard de l'usage réel de la plateforme. Une à quatre semaines.
Haute disponibilité et reprise après sinistre
La reprise après sinistre managée d'AceMQ, c'est un projet suivi d'une couverture : nous concevons la haute disponibilité (HA) et le plan de reprise de vos plateformes RabbitMQ, Kafka, Redis ou Valkey et PostgreSQL, nous les validons par des tests de basculement, nous rédigeons les runbooks, puis nous assurons le support ou l'exploitation de la plateforme. Tout commence par une revue HA d'une à quatre semaines, selon la complexité et ce que nous découvrons. Vous recevez un rapport écrit, une liste de correctifs priorisée et un plan de reprise testé.
Est-ce votre cas ?
Une plateforme du secteur public tombée parce que le disque d'un nœud s'est rempli
Le split brain RabbitMQ se répète et personne ne sait à quel nœud se fier
Le basculement n'existe que sur une page wiki, jamais exécutée en conditions réelles
Un site de reprise après sinistre existe sur le papier, mais personne n'y a jamais basculé
Un auditeur ou un questionnaire de risques exige des preuves de RTO et de RPO
Les paramètres de réplication et d'acquittement Kafka ont été choisis à la mise en production et jamais confrontés à la durabilité que le métier suppose
Un ou deux ingénieurs savent restaurer la plateforme, et ils ne sont pas toujours joignables
Résultats
Des changements d’état concrets, pas un décompte de livrables. Voici ce qui change réellement dans votre parc Infrastructure à la clôture de la mission.
Avant
On suppose la haute disponibilité acquise parce qu'il y a trois nœuds.
Des objectifs de RTO et de RPO fixés par charge de travail, traduits en paramètres de réplication concrets et confrontés au comportement actuel de la plateforme.
Avant
Le basculement est configuré mais n'a jamais été exercé.
Des tests de panne délibérés pour la perte d'un nœud, le disque plein, la perte d'une zone et la partition réseau, avec des résultats consignés par écrit.
Avant
La reprise dépend de celui qui se souvient des étapes.
Des runbooks que vos ingénieurs peuvent exécuter sans attendre un fournisseur, pour le chemin automatisé comme pour le chemin manuel.
Avant
Après le projet, personne ne répond de la plateforme à 3 h du matin.
Support ou exploitation managée selon quatre étapes, assurés par les ingénieurs qui ont conçu la reprise.
Périmètre
L'offre d'entrée : topologie, réplication, marge de capacité, sauvegardes et monitoring examinés au regard de l'usage réel de la plateforme. Une à quatre semaines.
Conception des quorum queues et des streams, facteur de réplication, réplicas synchronisés et acquittements, réplication inter-datacenters et comportement en cas de partition.
Sentinel ou Cluster pour Redis et Valkey, réplication en streaming avec élection de leader à la Patroni pour PostgreSQL, avec une politique de perte de données définie par charge de travail.
Haute disponibilité Kubernetes grâce à la répartition sur plusieurs zones, l'anti-affinité, les budgets de perturbation et un stockage qui survit à la perte d'un nœud, pour les brokers et bases de données exécutés sur Kubernetes ou dans un compte cloud.
Injection de pannes planifiée sur un environnement de répétition ou dans une fenêtre convenue, avec un compte rendu de ce qui s'est passé et du temps nécessaire.
Procédures de reprise pas à pas, pour le chemin automatisé et le chemin manuel, rédigées pour les ingénieurs d'astreinte.
La mission
Chaque phase a une durée définie et se termine par la remise d’un livrable concret. Vous savez toujours à quelle étape vous en êtes et ce que vous avez reçu.
Un ingénieur senior examine chaque plateforme : points de défaillance uniques, paramètres de réplication et de durabilité, marge de capacité, sauvegarde et restauration, et le monitoring qui aurait dû détecter le dernier incident. La durée de 1 à 4 semaines dépend de la complexité, des axes prioritaires et des problèmes identifiés.
Ce que vous recevez
Topologie cible répartie sur plusieurs domaines de défaillance, paramètres de réplication et de basculement, et architecture inter-sites si la reprise après sinistre couvre deux datacenters ou régions.
Ce que vous recevez
Nous mettons l'architecture à l'épreuve : perte d'un nœud, disque plein, perte d'une zone et partition réseau, mesurées au regard des objectifs. Les écarts identifiés sont corrigés puis testés à nouveau.
Ce que vous recevez
Des runbooks pour votre équipe, puis l'étape de support de votre choix, de l'escalade d'astreinte jusqu'à l'exploitation de la plateforme par AceMQ.
Ce que vous recevez
La haute disponibilité maintient une plateforme en service malgré la perte d'un nœud. La reprise après sinistre la rétablit après la perte d'un site. La première est intégrée à la conception du cluster ; la seconde se conçoit autour de lui et se prouve par un basculement réel. Une seule mission couvre les deux, sur toutes les plateformes que vous exploitez.
| Plateforme | Mécanisme de haute disponibilité | Ce que nous testons | Par où commencer |
|---|---|---|---|
| RabbitMQ | Quorum queues et streams, répliqués par Raft sur un nombre impair de nœuds dans des domaines de défaillance distincts. Fédération ou Shovel entre clusters pour la reprise après sinistre. | Perte d'un nœud, comportement en cas de partition, alarmes disque et mémoire, et nombre de membres des files d'attente après remplacement de nœud. | Bilan de santé RabbitMQ |
| Kafka | Facteur de réplication, réplicas synchronisés et acquittements des producteurs réglés ensemble, prise en compte des racks ou zones, et quorum de contrôleurs KRaft. | Perte d'un broker, réduction de l'ISR, basculement du contrôleur et marge de capacité des répertoires de logs. | Bilan de santé Kafka |
| Redis et Valkey | Sentinel pour un primaire et ses réplicas, ou Cluster pour le sharding. La réplication étant asynchrone, la fenêtre de perte d'écritures est explicitée. | Perte du primaire, durée du basculement et comportement des clients pendant la promotion. | Support Redis |
| PostgreSQL | Réplication en streaming avec élection de leader automatisée et fencing, par exemple Patroni avec un store de consensus. Réplication synchrone uniquement lorsque la durabilité justifie la latence. | Perte du primaire, perte d'une zone, partition réseau et routage des clients vers le nouveau primaire. | Support PostgreSQL |
| MySQL | Réplicas avec basculement automatisé, ou cluster Group Replication, selon la version et la durabilité requise. | Perte du primaire, retard des réplicas au basculement et reconnexion des applications. | Support MySQL |
| Kubernetes | Répartition sur plusieurs zones avec anti-affinité, pod disruption budgets, stockage qui survit à la perte d'un nœud et opérateurs qui mettent à niveau un membre à la fois. | Drain de nœud, perte d'une zone et mises à niveau progressives (rolling upgrade) sous charge. | Conteneurs et Kubernetes |
| Terme | Définition | Critère d'évaluation |
|---|---|---|
| Haute disponibilité (HA) | Concevoir la plateforme pour que la perte d'un composant n'interrompe pas le service. | Le service reste-t-il disponible en cas de défaillance d'un nœud ? |
| Basculement | Le passage vers un nœud de secours, automatiquement ou manuellement. | Combien de temps dure le passage, et quelles données sont perdues ? |
| Reprise après sinistre | Rétablir le service après la perte d'un site entier, d'une région ou des données elles-mêmes. | Objectif de temps de reprise (RTO) et objectif de point de reprise (RPO), prouvés par un exercice. |
En résumé : la haute disponibilité est la conception, le basculement est le mécanisme, et la reprise après sinistre est le plan pour le jour où la conception ne suffit plus. Une plateforme peut être hautement disponible sans disposer d'aucune reprise après sinistre.
Deux chiffres définissent une architecture de reprise après sinistre, et c'est votre métier qui fixe les deux. Le RPO (recovery point objective) est le délai maximal acceptable depuis le dernier point de reprise, soit la quantité de données que vous pouvez perdre. Le RTO (recovery time objective) est le délai maximal acceptable entre l'interruption et le rétablissement du service. Le livre blanc AWS sur la reprise après sinistre reprend ces définitions et souligne que même une stratégie bien conçue a un RTO et un RPO supérieurs à zéro.
Chaque plateforme possède son propre mécanisme de reprise documenté, et chacun a une limite qui détermine lequel des deux objectifs vous pouvez réellement tenir. AceMQ ne communique aucun chiffre à l'avance. Nous faisons correspondre vos objectifs à ces mécanismes, et un test de basculement dans une fenêtre convenue mesure ce que l'architecture atteint.
| Plateforme | Mécanisme de reprise documenté | Ce qui limite le point de reprise | Ce qui limite le temps de reprise |
|---|---|---|---|
| Kafka | Un cluster par datacenter, avec MirrorMaker 2 pour copier les topics, les configurations, les offsets de consumer group et les ACL entre eux. Confluent Cluster Linking en est l'équivalent managé sur les clusters Confluent. | Les enregistrements pas encore mis en miroir au moment de la perte du site. Chaque site fonctionne seul si le lien est coupé, et la mise en miroir rattrape son retard ensuite. | Rediriger les clients vers le cluster survivant et traduire les offsets des consommateurs. |
| RabbitMQ | Fédération ou Shovel entre deux clusters. Tanzu RabbitMQ, l'édition commerciale, ajoute la Warm Standby Replication, qui copie les définitions de schéma et les messages d'un cluster amont vers un cluster de secours aval. | La fédération est asynchrone, et aucun des deux plugins ne réplique les acquittements : après un basculement, des messages déjà consommés peuvent donc être livrés de nouveau. | Les files d'attente passives continuent de grossir sauf si vous définissez un TTL ou des limites de longueur, et les consommateurs doivent tolérer les doublons. |
| PostgreSQL | Archivage continu du journal d'écriture anticipée (WAL) avec restauration à un instant donné, plus réplication en streaming vers un nœud de secours. | La réplication en streaming est asynchrone par défaut : les transactions non encore transmises peuvent être perdues. Le commit synchrone comble cet écart au prix d'une latence de commit supplémentaire. | Restaurer une sauvegarde de base et rejouer le journal, ou promouvoir un nœud de secours et rediriger les clients. |
| Redis et Valkey | Réplication primaire/réplica, avec la persistance activée des deux côtés. | La réplication est asynchrone par défaut, et des écritures acquittées peuvent être perdues lors d'un basculement. WAIT réduit la fenêtre mais ne rend aucun des deux systèmes fortement cohérent. | Durée du basculement de Sentinel ou du cluster, puis reconnexion des clients. |
| Cassandra | Réplication multi-datacenter, avec NetworkTopologyStrategy définissant un facteur de réplication par datacenter. | Le niveau de cohérence utilisé par chaque écriture, comme LOCAL_QUORUM ou EACH_QUORUM, détermine combien de réplicas, dans quels datacenters, l'ont acquittée. | Router les clients vers un datacenter survivant. |
La fréquence des tests est une décision liée à ces deux chiffres. Une plateforme dont l'objectif de temps de reprise se compte en minutes exige des répétitions bien plus fréquentes que celle qui dispose d'une journée, et tout changement de topologie, de version ou de bibliothèques clientes justifie de répéter l'exercice. Le livre blanc AWS dit la même chose : testez votre stratégie régulièrement.
La plupart des pannes dans ce domaine viennent de trois défaillances. Chacune est peu coûteuse à répéter et très coûteuse à découvrir pour la première fois en production.
La haute disponibilité de RabbitMQ dépend de la présence en ligne d'une majorité de réplicas. À partir de RabbitMQ 4.3, le metadata store, les quorum queues et les streams reposent tous sur Raft, les anciennes stratégies de gestion des partitions réseau ont disparu, et un cluster à trois nœuds tolère la défaillance d'un nœud tandis qu'un cluster à deux nœuds n'en tolère aucune. Sur les versions antérieures, le mode de gestion des partitions réseau et les paramètres réseau décident de ce qui se passe, et ce sont les premiers réglages que nous examinons. Pour PostgreSQL, l'équivalent est l'isolation (fencing) de l'ancien primaire via l'élection de leader, et pour Redis et Valkey c'est le quorum de Sentinel.
Un disque plein peut mettre à l'arrêt n'importe quelle plateforme stateful. Sur RabbitMQ, lorsque l'espace disque libre passe sous la limite configurée, une alarme bloque tous les producteurs ; elle est valable pour tout le cluster, et si les messages sont paginés sur disque assez vite, le disque peut tout de même se remplir entre deux vérifications et faire tomber le nœud. Sur PostgreSQL, un slot de réplication inactif retient le journal d'écriture anticipée jusqu'à saturation du volume. Sur Kafka, la rétention et la marge de capacité des répertoires de logs déterminent la durée de reconstruction d'un broker. Nous dimensionnons la marge de capacité, configurons des alertes qui préviennent avant la limite et testons ce qui se passe à la limite.
Deux exemples publiés en donnent la forme. Un opérateur de télécommunications exploitait PostgreSQL avec un basculement manuel documenté sur une page wiki jamais exécutée. Un intégrateur de systèmes pour l'administration avait un basculement RabbitMQ qui se résumait à une promotion manuelle que personne n'avait jamais pratiquée. Dans les deux cas, la solution a été la même : fixer les objectifs de reprise, automatiser ou documenter le chemin, et le prouver par des tests de panne délibérés avant la passation.
La revue HA est le point de départ de la plupart des missions. C'est une lecture de la plateforme menée par des ingénieurs, au regard de son usage réel, avec des constats écrits et une liste de corrections classées par priorité. Les évaluations durent de une à quatre semaines selon la complexité, les axes d'étude et les problèmes rencontrés. Nous avons besoin de visibilité, pas d'un accès direct pour intervenir : des exports de configuration et l'historique des métriques suffisent, et un accès en lecture seule accélère le travail.
Le conseil en reprise après sinistre d'AceMQ conçoit et valide la reprise de vos brokers et de vos bases de données : RabbitMQ, Kafka, Redis et Valkey, PostgreSQL, MySQL et Cassandra. Vous fixez les objectifs de RPO et de RTO ; nous les traduisons dans le mécanisme documenté de chaque plateforme, testons la conception par une panne délibérée dans une fenêtre convenue, puis vous remettons des runbooks que votre propre équipe peut exécuter. C'est une mission de conseil avec un résultat écrit, et non un site de reprise en veille.
| Étape | Ce que vous recevez | Contenu propre à chaque plateforme |
|---|---|---|
| 1. Objectifs de reprise | Une feuille de calcul des objectifs de RPO et de RTO par plateforme, validée avec le métier | Quelles charges de travail peuvent perdre quelques secondes de données et lesquelles ne le peuvent pas, avant toute conception |
| 2. Audit des écarts | Des constats écrits et une liste de correctifs classés par priorité (la revue HA) | Topologie et points de défaillance uniques, paramètres de réplication et de durabilité, marge de capacité, existence ou non d'une restauration déjà exécutée |
| 3. Conception de la reprise | Une conception par plateforme, avec la limite que chaque mécanisme impose au RPO et au RTO | Clusters miroirs pour Kafka, fédération ou Shovel pour RabbitMQ, archivage des journaux et réplication en streaming pour PostgreSQL, réplicas avec basculement automatisé ou group replication pour MySQL, promotion de réplica pour Redis et Valkey, réplication multi-datacenters pour Cassandra |
| 4. Test de basculement | Un plan de test et un rapport de test avec le RPO et le RTO mesurés | Exécuté sur un environnement de répétition ou dans une fenêtre convenue, en présence de votre équipe |
| 5. Runbooks et passation | Des runbooks, la documentation de la topologie et la configuration du monitoring, maintenus comme les vôtres | Redirection des clients, traduction des offsets des consommateurs, étapes de promotion et de retour arrière |
Nous ne communiquons aucun chiffre de reprise avant le test. Chaque mécanisme laisse un RPO et un RTO supérieurs à zéro, et le test mesure les vôtres. Toute modification de la topologie, de la version ou des bibliothèques clientes justifie de répéter l'exercice.
À qui s'adresse cette mission
Aux équipes qui exploitent elles-mêmes leurs brokers et leurs bases de données et ont besoin d'un plan de reprise écrit, testé et tenu à jour : un parc en secteur réglementé qui doit démontrer un basculement testé, une équipe plateforme après une panne, ou un parc qui ajoute un second site. La mission peut s'arrêter à l'étape 5, ou se poursuivre en support ou en exploitation selon les quatre niveaux ci-dessous.
Le projet s'achève sur une plateforme conçue et testée. La couverture qui suit est à votre choix, selon quatre niveaux.
| Étape | De quoi s'agit-il | La question à laquelle il répond |
|---|---|---|
| Étape 1 : support réactif | Des ingénieurs seniors d'astreinte pour les incidents, avec un SLA contractuel et des objectifs de réponse à partir de 15 minutes, selon le plan. | Notre équipe exploite la plateforme. Qui appeler quand une panne survient en pleine nuit ? |
| Étape 2 : support proactif | Niveau 1 plus monitoring via le dispositif d'observabilité d'AceMQ. | Qui repère les problèmes avant nos clients ? |
| Étape 3 : services managés sur votre infrastructure | AceMQ exploite la plateforme dans votre compte cloud ou votre datacenter. | Les données doivent rester dans notre périmètre et nous ne voulons pas assurer l'astreinte. |
| Étape 4 : géré sur l'infrastructure de AceMQ | AceMQ héberge et exploite la plateforme. | Nous voulons que l'exploitation soit assurée pour nous, et notre politique autorise un service hébergé. |
FAQ
C'est une reprise après sinistre dont un tiers assume la responsabilité une fois la conception terminée. AceMQ conçoit la haute disponibilité et le dispositif de reprise de vos brokers et bases de données, les teste par des pannes délibérées, rédige les runbooks, puis assure le support ou l'exploitation de la plateforme selon l'une des quatre étapes, afin que le plan de reprise reste à jour et répété.
Il en fournit les briques : réplication en streaming, hot standbys et réplication logique. Il ne détecte pas seul la défaillance d'un primaire et ne promeut pas seul un nœud de secours. Le basculement automatique passe par des outils comme Patroni avec un store de consensus, ou par un service managé, et doit être conçu pour que deux nœuds n'acceptent jamais les écritures en même temps.
Non. Sentinel reste le mécanisme de haute disponibilité documenté de Redis pour les déploiements hors cluster, et Valkey dispose de son propre Sentinel avec le même rôle. Seule la version 1 de Sentinel, issue de Redis 2.6, est obsolète. La réplication étant asynchrone, nous explicitons la fenêtre de perte d'écritures et testons le temps de basculement pour vos clients.
Oui. La haute disponibilité MySQL repose sur des réplicas avec basculement automatisé, ou sur une architecture Group Replication ou InnoDB Cluster, selon la version et la durabilité requise par la charge de travail. Nous testons la perte du primaire, le retard des réplicas au basculement et la reconnexion des applications ; MySQL 5.7, 8.0 et 8.4 LTS sont couverts par notre support MySQL.
La haute disponibilité est la conception qui maintient un service en fonctionnement lorsqu'un composant tombe en panne. Le basculement est le passage vers un nœud de secours, automatiquement ou manuellement. La reprise après sinistre est le plan en cas de perte d'un site entier. Une plateforme peut avoir un basculement configuré sans être hautement disponible si ce passage n'a jamais été testé.
Les ingénieurs RabbitMQ d'AceMQ. Nous analysons les logs et les paramètres du cluster, identifions la cause des partitions, puis corrigeons le nombre de nœuds, les paramètres réseau et la gestion des partitions réseau pour votre version. Depuis RabbitMQ 4.3, les quorum queues et le metadata store reposent sur Raft et exigent une majorité en ligne : la conception se concentre donc sur les domaines de défaillance et la fiabilité du réseau.
AceMQ. Nous dimensionnons la marge de capacité disque et mémoire, réglons la limite d'espace disque libre et les alarmes, et concevons la couche inter-sites, généralement une fédération ou un Shovel entre deux clusters plutôt qu'un seul cluster étiré sur un WAN, avec des procédures de basculement et de retour testées. Sur RabbitMQ, une alarme disque bloque tous les producteurs à l'échelle du cluster : la marge de capacité est donc le premier correctif.
Les ingénieurs seniors d'AceMQ, aux côtés de votre équipe. Nous planifions le test, l'exécutons sur un environnement de répétition ou dans une fenêtre convenue, et consignons ce qui a basculé, le temps nécessaire et les données exposées. Les tests Kafka couvrent la perte d'un broker, le comportement des réplicas synchronisés et le basculement du contrôleur. Les tests PostgreSQL couvrent la perte du primaire, la perte d'une zone et la partition réseau.
Vous fixez les objectifs, et l'architecture est conçue pour les atteindre. Ce que chaque plateforme peut atteindre dépend de son mécanisme : clusters répliqués pour Kafka, fédération ou Shovel pour RabbitMQ, réplication asynchrone ou synchrone pour PostgreSQL. Chaque option a un point et un temps de reprise supérieurs à zéro, et le test de basculement mesure ce que sont réellement les vôtres. Nous ne communiquons aucun chiffre avant cela.
Il n'existe pas d'intervalle universel. Testez assez souvent pour que le résultat décrive encore la plateforme que vous exploitez : un objectif de temps de reprise court appelle des répétitions fréquentes, et tout changement de topologie, de version ou de bibliothèques clientes en appelle une nouvelle. Consignez à chaque fois ce qui a basculé, le temps que cela a pris et les données qui étaient en jeu.
De une à quatre semaines, selon la complexité, le nombre de plateformes, les axes d'étude et les problèmes rencontrés. Vous recevez des constats écrits étayés de preuves et une liste de corrections classées par priorité. Nous avons besoin d'exports de configuration et de l'historique des métriques, et un accès en lecture seule accélère le travail.
Le périmètre dépend des plateformes, des domaines de défaillance et de la profondeur des tests, et nous ne publions pas de grille tarifaire. Dites-nous ce que vous exploitez et nous répondrons à votre demande de devis sous 1 heure.
Il comprend la définition des objectifs de RPO et de RTO, l'audit de la haute disponibilité et des sauvegardes en place, la conception de la reprise par plateforme, un test de basculement qui mesure les valeurs réelles, ainsi que la rédaction des runbooks et la passation de la documentation. AceMQ le réalise pour RabbitMQ, Kafka, Redis et Valkey, PostgreSQL, MySQL et Cassandra, en commençant par une revue HA d'une à quatre semaines, et répond à une demande de devis sous 1 heure.
AceMQ, avec des ingénieurs seniors qui assurent aussi le support de ces plateformes 24/7 sur les Amériques, l'EMEA et l'APAC. Quel que soit le prestataire, demandez-lui le rapport de test de basculement qu'il a produit pour une plateforme comparable, et vérifiez qu'il couvre le mécanisme que vous exploitez, comme la fédération RabbitMQ ou la traduction des offsets des consommateurs Kafka.
Parlons-en
Indiquez-nous les brokers et bases de données que vous exploitez, où ils sont hébergés et ce qui a mal tourné. Nous cadrerons une revue HA et répondrons à votre demande de devis sous 1 heure.
Envoyez-nous un message et nous reviendrons vers vous sous 1 heure, ou réservez directement une consultation gratuite de 30 minutes.
305-204-2607info@acemq.comVous préférez en parler tout de suite ? Appelez-nous directement ou utilisez l'onglet Consultation pour trouver un créneau qui vous convient.