Présentation
La requête fédérée fonctionne bien quand les sources peuvent assumer leur part du travail, et mal quand elles ne le peuvent pas. AceMQ évalue les systèmes sources candidats, les schémas de requêtes auxquels ils seront soumis et le modèle de sécurité derrière lequel ils se trouvent, puis indique où la fédération tiendra et où elle ne tiendra pas.
Défi
Les projets de fédération supposent souvent que toutes les sources sont accessibles de la même manière. En pratique, une base opérationnelle peut ne pas supporter la charge des scans analytiques, une source proche du mainframe peut n'avoir aucun connecteur exploitable, un cluster Hive kerbérisé peut exiger une propagation d'identité que l'équipe sécurité n'a pas validée, et les chemins réseau entre segments peuvent tout simplement ne pas exister. Le découvrir une fois la plateforme achetée coûte cher.
Environnement
Environnements mixtes on-premise et cloud, avec bases relationnelles, data lakes Hive ou sur stockage objet, et entrepôts de données relevant de domaines de sécurité distincts.
Approche
AceMQ évalue chaque source candidate selon la maturité de son connecteur, ses capacités de pushdown et sa tolérance à la charge analytique, puis projette sur elles les schémas de requêtes prévus. La faisabilité en matière de sécurité et de réseau est évaluée en même temps que la performance, car la propagation d'identité et la segmentation sont les contraintes qui bloquent le plus souvent un déploiement. Le livrable est un verdict source par source, assorti d'un plan d'adoption ordonné.
Solution
- Revue, source par source, de la maturité des connecteurs et des capacités de pushdown au regard des schémas de requêtes prévus
- Analyse de la tolérance à la charge des sources opérationnelles qui ne peuvent pas absorber des scans analytiques sans pénaliser les charges transactionnelles
- Conception de la propagation d'identité et des autorisations couvrant Kerberos, LDAP, OAuth et le contrôle d'accès par fichiers
- Revue des chemins réseau et de la segmentation entre le coordinateur, les workers et chaque domaine source
- Modèle de dimensionnement du cluster établi à partir de la concurrence, du spill attendu et des besoins mémoire des workers
- Séquence d'adoption distinguant les sources qui se fédèrent proprement de celles qu'il vaut mieux répliquer d'abord dans le data lake
Résultat obtenu
Les clients obtiennent une séparation claire entre les sources prêtes pour la fédération et celles qui nécessitent d'abord une réplication ou une remédiation, ainsi qu'une conception du dimensionnement et de la sécurité qui résiste à l'examen du comité de sécurité.