Voltar para todos os casos de uso

SuporteEnergia / serviços públicos

Engenheiros sêniores de Trino de plantão quando as consultas federadas perdem desempenho

Empresa de trading de energia

Suporte com engenheiros designados para regressões de latência, falhas de conectores e problemas de concorrência do Starburst e do Trino em produção.

Visão geral

Problemas de latência em consultas federadas atravessam as fronteiras entre sistemas, o que dificulta assumir a responsabilidade internamente: a equipe de Trino culpa a origem, a equipe da origem culpa o Trino, e ninguém tem a visão completa. A AceMQ oferece engenheiros sêniores designados que conseguem analisar os dois lados.

Desafio

Regressões de latência no Starburst costumam ser causadas pelo ambiente, e não pela arquitetura: um banco de dados de origem mudou um índice, as estatísticas ficaram desatualizadas depois de uma carga em massa, um upgrade de conector alterou o comportamento de pushdown ou as filas do coordinator cresceram porque a concorrência foi aumentando aos poucos. Na ferramenta de BI, todos esses casos parecem idênticos — o dashboard está lento — e diagnosticá-los exige acesso e conhecimento dos dois lados do conector.

Ambiente

Implantações do Starburst Enterprise ou Galaxy no Kubernetes, em VMs ou em nuvem gerenciada, federando várias origens de produção.

Abordagem

Os engenheiros da AceMQ analisam em conjunto o histórico de eventos das consultas, as métricas de fila do coordinator e os planos de execução do lado da origem, para que a regressão seja atribuída corretamente em vez de virar motivo de discussão. A mitigação imediata pode ser uma mudança no resource group ou a reescrita de uma consulta; o acompanhamento ataca as estatísticas, a configuração do conector ou o índice na origem que causou o problema.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
  2. Análise do histórico de eventos das consultas e das filas do coordinator para separar lentidão de execução de atraso de admissão
  3. Comparação de planos do lado da origem para determinar se a regressão surgiu no Trino ou no sistema subjacente
  4. Revisão de regressões de upgrade e de configuração de conectores após mudanças de versão do Starburst ou da origem
  5. Verificação da atualidade das estatísticas e agendamento de ANALYZE para tabelas que mudaram de formato após cargas em massa
  6. Ajuste de concorrência e de resource groups para rajadas de consultas vindas das ferramentas de BI

Resultado obtido

As regressões de latência são atribuídas rapidamente ao sistema certo, o que encurta a resolução e acaba com o impasse entre equipes que costuma acompanhar os problemas de consultas federadas.

Tecnologias

StarburstTrinoApache HiveKubernetes

Precisa de suporte especializado em Starburst?

Os engenheiros Starburst sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.