Voltar para todos os casos de uso

AvaliaçãoGoverno / defesa

Saiba quais fontes funcionam bem com federação e quais precisam ser replicadas primeiro

Órgão do setor público

Avaliação de se uma camada de consultas federadas vai realmente funcionar com um determinado conjunto de sistemas de origem antes de se comprometer com a plataforma.

Visão geral

Consultas federadas funcionam bem quando as fontes conseguem fazer a sua parte do trabalho, e mal quando não conseguem. A AceMQ avalia os sistemas de origem candidatos, os padrões de consulta que eles vão enfrentar e o modelo de segurança por trás deles, e aponta onde a federação vai se sustentar e onde não vai.

Desafio

Propostas de federação muitas vezes presumem que todas as fontes são igualmente acessíveis. Na prática, um banco de dados operacional pode não tolerar a carga de varreduras analíticas, uma fonte ligada ao mainframe pode não ter nenhum conector utilizável, um cluster Hive com Kerberos pode exigir propagação de identidade que a equipe de segurança não aprovou, e os caminhos de rede entre os segmentos podem simplesmente não existir. Descobrir isso depois de licenciar a plataforma sai caro.

Ambiente

Ambientes mistos on-premises e em nuvem, com bancos de dados relacionais, data lakes em Hive ou em armazenamento de objetos e sistemas de data warehouse sob domínios de segurança distintos.

Abordagem

A AceMQ avalia cada fonte candidata quanto à maturidade do conector, à capacidade de pushdown e à tolerância à carga analítica e, depois, mapeia os padrões de consulta pretendidos sobre elas. A viabilidade de segurança e de rede é avaliada junto com o desempenho, já que a propagação de identidade e a segmentação são as restrições que mais frequentemente travam uma implantação. O resultado é um parecer fonte por fonte, com um plano de adoção ordenado.

Solução

  1. Revisão, fonte por fonte, da maturidade dos conectores e da capacidade de pushdown em relação aos padrões de consulta pretendidos
  2. Análise de tolerância à carga para fontes operacionais que não conseguem absorver varreduras analíticas sem afetar as cargas transacionais
  3. Design de propagação de identidade e autorização cobrindo Kerberos, LDAP, OAuth e controle de acesso baseado em arquivos
  4. Revisão dos caminhos de rede e da segmentação entre o coordinator, os workers e cada domínio de origem
  5. Modelo de dimensionamento do cluster derivado da concorrência, do spill esperado e dos requisitos de memória dos workers
  6. Sequência de adoção que separa as fontes que funcionam bem com federação daquelas que devem ser replicadas primeiro para o data lake

Resultado obtido

Os clientes obtêm uma divisão clara entre as fontes prontas para federação e as que precisam de replicação ou correção primeiro, além de um design de dimensionamento e de segurança que passa pelo crivo do comitê de revisão de segurança.

Tecnologias

StarburstTrinoApache HiveKerberos

Pronto para um health check do Starburst?

Os engenheiros Starburst sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.