Visão geral
Consultas federadas funcionam bem quando as fontes conseguem fazer a sua parte do trabalho, e mal quando não conseguem. A AceMQ avalia os sistemas de origem candidatos, os padrões de consulta que eles vão enfrentar e o modelo de segurança por trás deles, e aponta onde a federação vai se sustentar e onde não vai.
Desafio
Propostas de federação muitas vezes presumem que todas as fontes são igualmente acessíveis. Na prática, um banco de dados operacional pode não tolerar a carga de varreduras analíticas, uma fonte ligada ao mainframe pode não ter nenhum conector utilizável, um cluster Hive com Kerberos pode exigir propagação de identidade que a equipe de segurança não aprovou, e os caminhos de rede entre os segmentos podem simplesmente não existir. Descobrir isso depois de licenciar a plataforma sai caro.
Ambiente
Ambientes mistos on-premises e em nuvem, com bancos de dados relacionais, data lakes em Hive ou em armazenamento de objetos e sistemas de data warehouse sob domínios de segurança distintos.
Abordagem
A AceMQ avalia cada fonte candidata quanto à maturidade do conector, à capacidade de pushdown e à tolerância à carga analítica e, depois, mapeia os padrões de consulta pretendidos sobre elas. A viabilidade de segurança e de rede é avaliada junto com o desempenho, já que a propagação de identidade e a segmentação são as restrições que mais frequentemente travam uma implantação. O resultado é um parecer fonte por fonte, com um plano de adoção ordenado.
Solução
- Revisão, fonte por fonte, da maturidade dos conectores e da capacidade de pushdown em relação aos padrões de consulta pretendidos
- Análise de tolerância à carga para fontes operacionais que não conseguem absorver varreduras analíticas sem afetar as cargas transacionais
- Design de propagação de identidade e autorização cobrindo Kerberos, LDAP, OAuth e controle de acesso baseado em arquivos
- Revisão dos caminhos de rede e da segmentação entre o coordinator, os workers e cada domínio de origem
- Modelo de dimensionamento do cluster derivado da concorrência, do spill esperado e dos requisitos de memória dos workers
- Sequência de adoção que separa as fontes que funcionam bem com federação daquelas que devem ser replicadas primeiro para o data lake
Resultado obtido
Os clientes obtêm uma divisão clara entre as fontes prontas para federação e as que precisam de replicação ou correção primeiro, além de um design de dimensionamento e de segurança que passa pelo crivo do comitê de revisão de segurança.