Présentation
Un opérateur de facturation télécom utilisait Google Cloud Pub/Sub entre ses services de valorisation, de facturation et de gestion des litiges. Chaque abonnement disposait d'un topic dead-letter configuré dans Terraform, et pourtant les mêmes enregistrements de consommation impossibles à traiter faisaient l'objet de nouvelles tentatives pendant des jours, sans que l'équipe puisse lister ce qui avait échoué.
Défi
Deux lacunes distinctes se cachaient derrière une configuration en apparence complète. Pub/Sub ne transfère un message vers un topic dead-letter que si son agent de service peut publier sur ce topic et acquitter les messages sur l'abonnement source. Or, sur quatre des six abonnements, ces rôles n'avaient jamais été accordés : aucun message n'était transféré et les tentatives de distribution n'étaient pas comptabilisées. Sur les deux autres, le topic dead-letter n'avait aucun abonnement propre, si bien que les messages transférés n'étaient conservés nulle part où quelqu'un aurait pu les lire.
Environnement
Topics et abonnements pull Google Cloud Pub/Sub, consommés par des workers Python, avec topics, abonnements et bindings IAM gérés dans Terraform sur les projets de développement, de préproduction et de production.
Approche
AceMQ a examiné la politique de dead-letter, les bindings IAM et les données de tentatives de distribution de chaque abonnement, puis a fait passer volontairement un message invalide dans chacun d'eux en préproduction pour observer où il aboutissait. La répartition entre les abonnements qui transféraient les messages et ceux qui ne le faisaient pas désignait directement les autorisations manquantes.
Solution
- Attribution à l'agent de service Pub/Sub du rôle d'éditeur sur chaque topic dead-letter et du rôle d'abonné sur chaque abonnement source, dans Terraform
- Création d'un abonnement sur chaque topic dead-letter, avec une durée de rétention suffisante pour le tri
- Définition, pour chaque abonnement, d'un nombre maximal de tentatives de distribution et d'une politique de nouvelle tentative avec backoff exponentiel, en fonction du temps de rétablissement de sa dépendance en aval
- Distinction, dans les workers, entre défaillances transitoires et enregistrements empoisonnés, afin qu'une panne en aval déclenche une nouvelle tentative au lieu de vider des enregistrements de consommation valides vers le topic dead-letter
- Ajout d'une alerte sur le nombre de messages en dead-letter et d'un petit outil permettant d'inspecter un enregistrement en dead-letter et de le republier sur le topic source
- Ajout d'un contrôle Terraform empêchant la création d'un nouvel abonnement doté d'une politique de dead-letter sans ses bindings
Résultat obtenu
Un enregistrement empoisonné quitte désormais son abonnement après le nombre de tentatives configuré et apparaît dans un abonnement dead-letter que l'équipe surveille et à partir duquel elle peut effectuer un rejeu. Le backlog d'enregistrements relivrés en boucle a été retracé, classé et résorbé.