BlogueBoomi

O que revela realmente uma avaliação de integrações Boomi

Scott Sternloff

Por Scott Sternloff, Arquiteto empresarial sénior

LinkedIn · Atualizado a · 12 min de leitura

O que revela realmente uma avaliação de integrações Boomi
On this page

Uma avaliação profissional de integrações Boomi traz à superfície problemas que uma equipa interna competente não vê a partir das suas próprias ferramentas: ligações apontadas para um único nó em vez de um endpoint com balanceamento de carga, definições de protocolo discretamente alteradas face às predefinições, filas bloqueadas que se fazem passar por falhas do broker e ausência de observabilidade partilhada em toda a stack de integração. Nada disto aparece como um erro óbvio. Aparece como um bloqueio intermitente que ninguém consegue reproduzir quando quer.

O Boomi é uma plataforma empresarial de integração como serviço (iPaaS): o runtime AtomSphere da Dell Boomi trata dos conectores, da gestão de APIs e do mapeamento de dados por trás dos fluxos de integração de uma organização, sendo executado em instâncias Atom ou molecule geridas pela plataforma AtomSphere. Nos processos de integração em tempo real (por oposição aos processos batch), esse runtime assenta normalmente numa camada de mensagens (neste projeto, RabbitMQ), e é aí que residem, na verdade, várias das conclusões que se seguem.

As conclusões abaixo resultam de uma avaliação Boomi real da AceMQ, ao longo de várias sessões, para um integrador de sistemas da administração federal que estava a transferir o seu esforço de transformação digital de jobs agendados legados para processos de integração em tempo real. Os pormenores são descritos de forma genérica; o cliente e as pessoas envolvidas não são identificados.

Porque é que passar o Boomi de batch para tempo real coloca o RabbitMQ no caminho crítico?

O projeto começou com uma migração em curso: o cliente estava a abandonar um ambiente batch agendado legado em .NET e a avançar para processos de integração Boomi em tempo real, com o RabbitMQ como a peça que tornava o tempo real possível. Essa mudança altera o que significa «funcionar». Um job batch que arrancava às 3h e terminava algures antes das 8h podia demorar quinze minutos ou duas horas sem que ninguém se importasse. Um gateway em tempo real, cujas mensagens um listener Boomi recolhe de uma fila, tem de aguentar uma rajada de 1000 registos sem timeout: não há janela noturna para absorver o backlog.

A arquitetura refletia essa ambição: uma molecule de três nós em teste e produção, um Atom de nó único em desenvolvimento e cerca de 35 listeners RabbitMQ distribuídos pelo ambiente, a fazer publish/subscribe, disparo assíncrono de documentos e processamento batch de longa duração lado a lado. É muita superfície para um problema ao nível da ligação ou do protocolo se esconder, e é exatamente a superfície que uma avaliação de integrações Boomi foi pensada para percorrer.

Porque é que os listeners do Boomi aparecem a verde quando nada está a ser processado?

Este foi o sintoma recorrente que deu início ao projeto: todos os listeners do Boomi reportavam estar saudáveis na sua própria vista de estado, enquanto as filas RabbitMQ por trás deles permaneciam paradas. Nada falhava de forma ruidosa. Nada gerava alertas. Simplesmente parava.

A causa raiz é uma discrepância entre o que o «estado do listener» mede realmente e o que a equipa julga que mede. O estado do listener no Boomi reflete o estado da implementação (se o componente listener arrancou e continua em execução), e não a conectividade em tempo real com o broker. Se um nó RabbitMQ com que o listener comunicava caiu, foi reiniciado ou recebeu patches e foi reiniciado, e o canal por baixo do listener morreu em consequência, o listener pode continuar a mostrar verde indefinidamente. O RabbitMQ é tolerante a falhas e, em muitas topologias, acaba por recuperar a ligação, mas «acaba por» não é um SLA de tempo real, e um dashboard de listeners que nunca fica vermelho não dá à equipa qualquer razão para ir ver.

Porque é que a ligação do Boomi ao RabbitMQ precisa de um VIP F5 em vez do IP direto de um nó?

A solução para o bloqueio dos listeners remontava à forma como a ligação do Boomi ao RabbitMQ estava configurada. A avaliação seguiu a sequência de diagnóstico habitual (a ligação passa por um balanceador de carga, existe um VIP à frente de um pool, esse pool distribui realmente por todos os nós do cluster em vez de estar fixado num só) e verificou que a ligação RabbitMQ do cliente passava por um F5, mas não estava configurada como devia: não era um verdadeiro pool com balanceamento de carga, não havia proteção contra o encaminhamento persistente (sticky) para um único nó e os health checks baseavam-se na CPU, o sinal errado para a disponibilidade do broker.

A configuração corrigida aponta essa ligação para a entrada DNS do VIP F5 à frente de todos os nós do cluster, configurado como um verdadeiro pool com balanceamento de carga e sem sticky bit. Essa única alteração faz três coisas ao mesmo tempo: o RabbitMQ pode encaminhar e distribuir a carga pelos nós que estiverem efetivamente saudáveis, um nó que sai de serviço para patches deixa de ser uma indisponibilidade da integração e abre-se a porta a operações como uma atualização blue/green do RabbitMQ, alternando os pools de ligações por trás do F5 sem tocar num único componente Boomi.

Quanto custa realmente a uma integração Boomi um frame_max reduzido?

Escondida na environment extension do Boomi para a ligação RabbitMQ estava uma substituição explícita: frame_max definido para 16 KB. Ninguém do lado do cliente sabia explicar porquê; a resposta era uma variante de «sempre foi assim, desde o primeiro dia». Por omissão, o RabbitMQ negoceia um tamanho máximo de frame AMQP 0-9-1 de 131 072 bytes (128 KiB). Reduzi-lo para 16 KB não torna nada mais seguro; apenas multiplica o número de frames em que o RabbitMQ tem de dividir cada mensagem. Um payload de 16 MB que ocuparia na ordem de 96 frames com o tamanho predefinido ocupava cerca de 8000 frames com a definição de 16 KB: overhead de protocolo puro em cada mensagem grande enviada pela integração, sem qualquer benefício em troca.

A correção consistiu em remover por completo a substituição e deixar o componente de ligação negociar a predefinição da plataforma, em vez de fixar um número no código, para que futuras alterações à configuração do RabbitMQ subjacente se propaguem automaticamente, em vez de entrarem silenciosamente em conflito com um valor obsoleto que ninguém se lembra de ter definido.

É o tipo de conclusão que nunca aparece como incidente. Limita-se a cobrar, discretamente e indefinidamente, um imposto sobre cada mensagem grande que uma integração envia, até que alguém com razões para questionar uma predefinição com cinco anos vá procurar.

Como é que uma fila de logging EBS bloqueada derruba uma execução Boomi em produção?

A conclusão mais crítica foi um bloqueio em produção com origem numa única fila interna de logging: um exchange de logger EBS que os processos Boomi usavam para escrever registos de log JSON estruturados numa tabela de logging partilhada. Durante o incidente, essa fila mostrava duas mensagens bloqueadas e 42 a ser rejeitadas, com o número de mensagens sem acknowledgement no broker a subir bem acima de 100 e a continuar a crescer em vez de estabilizar.

O diagnóstico importava mais do que a correção. Um número crescente de mensagens sem acknowledgement, com mensagens ainda em estado «ready» noutros pontos da topologia, não é um problema do broker: o RabbitMQ estava a fazer exatamente o que deve, a reter mensagens entregues a um consumidor mas nunca confirmadas, para o caso de ser necessário voltar a entregá-las. A verdadeira falha estava a montante: um consumidor tinha aceitado trabalho e simplesmente nunca o terminou, muito provavelmente devido a uma falha momentânea de rede, a uma chamada SQL bloqueada ou a um timeout a jusante que deixou um documento em curso sem que nada voltasse para o confirmar. Quando consumidores suficientes ficaram nesse estado, os slots de execução saturaram, as mensagens em prefetch ficaram por confirmar e todo o circuito de logging ficou congestionado atrás delas.

A recuperação passou por forçar seletivamente o fecho das ligações RabbitMQ bloqueadas por trás dos consumidores congelados, o que leva o Boomi a voltar a ligar-se e a restabelecer canais limpos em vez de esperar indefinidamente por ligações que nunca iriam regressar. O número de mensagens sem acknowledgement desceu depois de forma constante: dos 120 e tal para a casa dos 100 e, por fim, para um só dígito à medida que o backlog escoava. Nada disto exigiu mexer na durabilidade das mensagens nem purgar uma fila; exigiu identificar corretamente que o broker estava saudável e a camada aplicacional não.

Porque é que o prefetch e o single active consumer importam para os consumidores concorrentes do Boomi?

A molecule do Boomi executa uma cópia própria de cada listener em cada nó, cada uma com a sua definição de concorrência. Neste ambiente, uma concorrência de 2 por cópia do listener numa molecule de três nós resultava em cerca de 10 consumidores concorrentes a ler da mesma fila RabbitMQ. Em cargas de trabalho em que a ordem das mensagens não importa, é um padrão de débito razoável. Em cargas que exigem processamento sequencial, 10 consumidores concorrentes são um risco de correção à espera de que o padrão de tráfego errado o exponha.

A própria orientação do RabbitMQ situa o prefetch ideal entre 100 e 300 para filas sensíveis ao débito, e assinala especificamente que um prefetch de 1 prejudica significativamente o desempenho, porque serializa tudo e passa a maior parte do tempo em idas e voltas. Em vez de trocar débito por ordenação reduzindo o prefetch para 1, a recomendação foi implementar o single active consumer (x-single-active-consumer) nas filas que precisavam realmente de tratamento sequencial. Mantém exatamente um consumidor ativo por fila de cada vez e faz failover automático se esse consumidor cair: garantia de ordenação sem a penalização das idas e voltas. O cliente aceitou testá-lo num ambiente inferior antes de o levar para produção.

Que lacuna de observabilidade fica sem dashboards partilhados de Prometheus e Grafana?

No início do projeto, o cliente quase não tinha observabilidade partilhada entre o Boomi e o RabbitMQ. Em desenvolvimento, havia um agente Java do Prometheus a recolher algumas métricas do Boomi, mas esses dados eram ingeridos e imediatamente descartados: nada era persistido, pelo que não havia histórico para consultar quando algo corria mal. Não havia etiquetagem no Grafana específica para o Boomi, nem nenhum collector OpenTelemetry a extrair dados diretamente do runtime do Boomi. Produção e teste, os ambientes que realmente importavam, não tinham nada.

Nas sessões seguintes, os engenheiros da AceMQ implementaram um JMX exporter do lado do Boomi/molecule e associaram-no aos dashboards de Prometheus e Grafana que já estavam a ser criados para o RabbitMQ, colocando ambos numa pasta de dashboards partilhada para que as métricas do Boomi e do RabbitMQ pudessem ser lidas lado a lado, e não em duas ferramentas separadas. Isso incluiu a exportação de métricas por pod, para identificar como outlier um nó da molecule sobrecarregado ou bloqueado, e detetores baseados em limiares para exatamente os modos de falha que esta avaliação já tinha encontrado à mão: threads bloqueadas, estados de deadlock e pods bloqueados que nunca mais voltavam.

Isto fecha a verdadeira lacuna por trás de todas as outras conclusões deste artigo. Um bloqueio de listener, uma fila de logging bloqueada e um frame_max reduzido parecem idênticos vistos de fora quando o Boomi e o RabbitMQ são monitorizados como dois sistemas sem relação: algo está lento, ou algo parou, e ninguém consegue dizer de que lado começou. A observabilidade lado a lado é o que transforma isso num diagnóstico de cinco minutos em vez de uma bridge call de várias horas.

É este o padrão por trás da maioria das avaliações de integrações Boomi: a plataforma funciona bem no papel, e o risco real está na camada de ligação, nas definições de protocolo e na lacuna de monitorização entre dois sistemas que ninguém está a vigiar em conjunto. Acertar nisto compensa em eficiência operacional, e não apenas em uptime: menos pipelines de dados bloqueados, fluxos de trabalho que não precisam de vigilância constante e análises em que se pode realmente confiar para otimizar a próxima ronda de afinação. É também por isso que este conteúdo não existe em mais lado nenhum: vem dos próprios projetos de integração RabbitMQ da AceMQ, e não da documentação dos fornecedores. Se a sua camada de integração e a espinha dorsal de mensagens que a suporta nunca foram avaliadas em conjunto, fale com a AceMQ sobre uma avaliação de integrações Boomi.

Perguntas frequentes

O que verifica realmente uma avaliação de integrações Boomi?

Verifica aquilo que uma equipa de integração competente não deteta a partir de dentro: se as ligações do Boomi aos sistemas a jusante (incluindo a camada de mensagens) passam por um balanceador de carga ou apontam para um único nó, se as definições ao nível do protocolo correspondem às predefinições da plataforma, se há mensagens bloqueadas ou sem acknowledgement a acumular-se atrás de um listener, se o prefetch e a concorrência dos consumidores estão afinados para a carga de trabalho e se o Boomi e a sua camada de integração são monitorizados em conjunto ou como dois sistemas desligados.

Porque é que os listeners do Boomi aparecem saudáveis quando nada está a ser processado?

O estado do listener no Boomi reflete o estado da implementação, e não a conectividade em tempo real com o broker. Se um canal morrer do lado do RabbitMQ depois de o listener ter sido implementado com sucesso, o listener pode continuar a reportar verde enquanto a ligação por baixo dele já desapareceu e as mensagens deixam de circular.

Qual é o frame_max predefinido do RabbitMQ e porque é que um valor baixo prejudica as integrações Boomi?

Por omissão, o RabbitMQ negoceia um frame_max de 131 072 bytes (128 KiB). Forçá-lo para um valor mais baixo não acrescenta margem de segurança; multiplica o número de frames necessários para entregar cada mensagem. Um payload de 16 MB que ocupa cerca de 96 frames com o valor predefinido passa a ocupar na ordem de 8000 frames com uma substituição para 16 KB, o que acrescenta overhead puro a cada mensagem grande que o Boomi envia pela ligação.

Como se recupera uma fila RabbitMQ bloqueada atrás do Boomi?

Primeiro, confirme que se trata de um bloqueio do lado do consumidor e não de um problema do broker: um número crescente de mensagens sem acknowledgement, sem rejeições declaradas, significa normalmente que um consumidor pegou em trabalho e nunca o terminou, muitas vezes devido a um timeout a jusante ou a uma chamada bloqueada. Forçar uma nova ligação, fechando as ligações bloqueadas, liberta as mensagens fantasma em curso e permite escoar o backlog, sem mexer na durabilidade das mensagens.

O Boomi deve ligar-se ao RabbitMQ através de um balanceador de carga ou do IP direto de um nó?

Através de um VIP com balanceamento de carga. Apontar o Boomi para o IP direto de um nó RabbitMQ significa que a falha desse nó arrasta consigo a integração. Colocar um VIP F5 (ou equivalente) à frente do cluster permite ao RabbitMQ encaminhar e distribuir a carga pelos nós que estiverem efetivamente ativos, e torna possíveis operações como uma atualização blue/green do RabbitMQ sem reconfigurar o Boomi.

Qual é a diferença entre afinar o prefetch e usar single active consumer nos listeners do Boomi?

O prefetch controla quantas entregas sem acknowledgement um consumidor pode ter em simultâneo; a própria orientação do RabbitMQ situa o débito ideal entre 100 e 300, sendo que um prefetch de 1 serializa tudo e prejudica o débito. O single active consumer (x-single-active-consumer) resolve outro problema, o processamento ordenado, mantendo exatamente um consumidor ativo por fila e fazendo failover automático, sem cair na lentidão de um prefetch de 1.

O Boomi é uma ferramenta de ETL?

Não principalmente. O Boomi é uma plataforma de integração como serviço (iPaaS) que inclui capacidades de mapeamento e transformação de dados, mas o seu papel central é ligar aplicações, APIs e fontes de dados através do seu runtime Atom/molecule, o que o aproxima mais de uma plataforma de integração e gestão de dados do que de uma ferramenta de ETL dedicada.

Scott Sternloff

Autor

Scott SternloffArquiteto empresarial sénior

Arquiteto empresarial sénior na AceMQ. Escreve aqui os conteúdos técnicos: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with Boomi?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Guias, comparações e estudos

Aprofunde o suporte e os ciclos de vida das versões

Consulta gratuita

Obtenha uma análise especializada de ambiente Boomi

Quer esteja a resolver um incidente em produção, a planear uma migração ou queira uma segunda opinião sobre a sua arquitetura, a nossa equipa está pronta. Sem discursos de vendas, apenas respostas.

Enviar e-mail