La plupart des P1 Pulsar remontent à un choix de dimensionnement fait à la construction. Voici les questions que nous posons à une équipe durant la première semaine d'un contrat de support, avec la raison pour laquelle chacune compte.
Quels sont votre ensemble, votre quorum d'écriture et votre quorum d'acquittements ? Un point de départ courant est un ensemble de 3, un quorum d'écriture de 3 et un quorum d'acquittements de 2, ce qui tolère un bookie lent ou en panne sans bloquer les écritures. Un ensemble plus grand répartit la charge sur davantage de bookies, mais élargit le rayon d'impact d'un disque lent. Lorsqu'une équipe configure un quorum d'acquittements égal au quorum d'écriture, chaque écriture attend le bookie le plus lent, et un seul disque dégradé devient un problème de latence sur tout le cluster. Nous vérifions ce réglage au regard du nombre de bookies, des domaines de défaillance (prise en compte des racks ou des zones) et du budget de latence.
Où se trouve le journal, et qu'est-ce qui le partage ? Le journal est un chemin d'écriture séquentiel, très sollicité en fsync. Il lui faut son propre périphérique rapide. Les équipes qui placent les répertoires de journal et de ledger sur le même volume voient la compaction et les flushs de ledger se répercuter sur la latence de publication. Nous mesurons la latence fsync du périphérique de journal avant le premier topic de production.
Combien de bundles compte chaque namespace, et combien de topics sont chauds ? Les topics sont associés aux bundles par hachage. Un namespace créé avec le nombre de bundles par défaut et quelques topics très actifs peut concentrer l'essentiel du trafic sur un seul broker. Scinder les bundles tôt coûte peu ; les scinder sous charge provoque les à--coups de reconnexion décrits au problème 4. Nous dimensionnons les bundles à partir du nombre de topics attendu et du débit des topics les plus actifs.
Quels topics nécessitent de la compaction, et qui les lit ? Les topics compactés ne posent pas de problème jusqu'à ce qu'une compaction prenne du retard et qu'un consommateur lisant la vue compactée voie des données obsolètes. Nous vérifions les seuils de compaction et l'état d'exécution par topic.
Que partagent les Pulsar Functions et les connecteurs avec les brokers ? Les Functions exécutées dans le processus du broker partagent sa mémoire et son CPU. Une function qui fuit devient un incident broker. Nous privilégions des function workers séparés en production et vérifions leurs limites de ressources.
Que devient une souscription lorsque ses consommateurs disparaissent ? Les souscriptions durables conservent indéfiniment leur curseur et leur backlog, sauf si un TTL ou une politique d'expiration les supprime. Une souscription oubliée d'un service retiré est la source la plus fréquente d'un backlog qui grossit pendant des semaines avant de bloquer les producteurs. Dans chaque revue, nous listons les souscriptions qui ont du backlog et aucun consommateur actif.