Retour à tous les cas d'usage

AuditLogiciels / plateformes numériques

Cessez de dimensionner vos NVMe locaux pour des données lues une fois par trimestre

Fournisseur de plateforme d'objets connectés

Conception d'un stockage hiérarchisé pour une rétention longue, afin que l'historique réside dans un stockage objet sans que le disque local dicte la durée de conservation.

Présentation

Le tiered storage déplace les segments de log clos vers un stockage objet tout en gardant la fenêtre récente sur disque local, ce qui découple la rétention de la taille des NVMe provisionnés. AceMQ évalue si les modes de lecture le justifient, puis conçoit la configuration et le dimensionnement à partir du comportement mesuré.

Défi

Face à une exigence de rétention de plusieurs mois ou plusieurs années, les équipes soit surdimensionnent le disque local de chaque broker, soit tronquent la rétention et perdent la possibilité de rejouer les données. Le tiered storage résout ce dilemme, mais seulement si la fenêtre de cache local correspond à la façon dont les consommateurs lisent réellement. Un job de reconstruction qui rejoue un topic depuis le début rapatrie de gros volumes depuis le stockage objet, et les coûts de requêtes et d'egress qui en découlent surprennent ceux qui ne les avaient pas modélisés.

Environnement

Clusters Redpanda sur Kubernetes ou sur instances cloud, avec NVMe local et stockage objet compatible S3, au service à la fois de consommateurs en streaming et de rejeux périodiques de l'historique.

Approche

AceMQ profile dans le temps les offsets de lecture des consommateurs, pour mesurer jusqu'où et à quelle fréquence ils remontent dans l'historique, ce qui détermine la fenêtre de cache local. La rétention est ensuite répartie, topic par topic, entre un niveau local « chaud » et un niveau objet « froid », et le coût des lectures distantes est modélisé sur les schémas de rejeu réels plutôt que sur le pire scénario.

Solution

  1. Profilage des offsets de lecture des consommateurs, pour mesurer la fenêtre de récence réelle et la fréquence des rejeux profonds de l'historique
  2. Rétention répartie par topic entre un stockage local chaud et un stockage objet distant
  3. Dimensionnement du disque local et du cache déduit de la fenêtre chaude mesurée, avec une marge pour les épisodes de retard des consommateurs
  4. Modélisation des coûts de requêtes, d'egress et de cycle de vie du stockage objet sur les schémas de rejeu réels plutôt que sur le pire scénario
  5. Validation des performances de lecture distante pour les jobs batch et analytiques qui rejouent depuis le niveau froid
  6. Validation des procédures de reprise et de recréation des topics depuis le niveau distant, y compris la reconstruction d'un cluster à partir du stockage objet

Résultat obtenu

Les clients allongent leur rétention d'un ordre de grandeur sans hausse proportionnelle du stockage local, et le modèle de coûts reflète le comportement de lecture mesuré. Les procédures de reprise sont validées avant d'en avoir besoin, et non en plein incident.

Technologies

RedpandaApache KafkaKubernetesApache Spark

Prêt pour un bilan de santé Redpanda ?

Les ingénieurs Redpanda seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.