Benchmarking de Raciocínio Profissional: Gemini 3 e GPT-5.2 Lideram em Desempenho de Agentes de IA Complexos

O cenário da inteligência artificial está passando por uma mudança fundamental, de modelos conversacionais passivos para "agentes" autônomos capazes de executar fluxos de trabalho complexos e de múltiplas etapas. À medida que esses sistemas se aproximam da integração em ambientes profissionais de alta criticidade, a necessidade de uma avaliação rigorosa e específica do domínio nunca foi tão crucial. Os pesquisadores Bertie Vidgen, Austin Mann e Abby Fennelly abordaram essa lacuna com a introdução do AI Productivity Index for Agents (APEX-Agents), um novo benchmark projetado para medir a eficácia da IA em tarefas tradicionalmente reservadas a analistas de bancos de investimento, consultores de gestão e advogados corporativos.

Transição de Chatbots para Agentes Autônomos

Nos últimos anos, o padrão-ouro para o desempenho de Grandes Modelos de Linguagem (LLM) baseou-se em benchmarks que medem o raciocínio estático ou a recuperação de conhecimento geral. No entanto, à medida que a indústria se volta para fluxos de trabalho agênticos — onde se espera que a IA navegue em sistemas de arquivos, utilize ferramentas de software e execute sequências de ações por períodos prolongados — as métricas tradicionais provaram ser insuficientes. O benchmark APEX-Agents representa um afastamento dessas simples interfaces de chat, focando, em vez disso, em tarefas de "longo horizonte" que exigem gerenciamento de estado persistente e coordenação entre aplicativos.

A equipe de pesquisa identificou três pilares fundamentais dos serviços profissionais: bancos de investimento, consultoria e advocacia. Esses campos foram selecionados porque exigem altos níveis de precisão, a capacidade de sintetizar dados de múltiplas fontes (como planilhas, PDFs e bancos de dados internos) e a capacidade de seguir instruções complexas em vários estágios. Ao mudar o foco para esses setores cognitivos de alto valor, o APEX-Agents fornece um reflexo mais preciso do impacto potencial da IA na força de trabalho moderna do que os benchmarks de propósito geral.

A Metodologia do Raciocínio Profissional

A complexidade do APEX-Agents reside na sua insistência na execução de "longo horizonte". Ao contrário de um comando padrão que solicita o resumo de um documento, uma tarefa dentro deste benchmark pode exigir que um agente processe um contrato de aquisição, cruze referências de cláusulas específicas com um modelo financeiro no Excel e, em seguida, redija um memorando formal em um processador de texto. Essas tarefas não são realizadas no vácuo; o benchmark fornece um ambiente de trabalho realista, completo com sistemas de arquivos estruturados e ferramentas de software de nível profissional.

Para garantir a confiabilidade dos resultados, os pesquisadores utilizaram a métrica Pass@1. Este método de pontuação rigoroso exige que o agente conclua a tarefa corretamente em sua primeira tentativa, refletindo as expectativas de um ambiente profissional onde a supervisão constante ou múltiplas tentativas anulariam os ganhos de produtividade do uso de uma IA. O benchmark consiste em 480 tarefas distintas (n=480), cada uma acompanhada por uma rubrica detalhada e "gold outputs" — as respostas corretas verificadas por humanos usadas para avaliar o desempenho da IA.

Análise de Desempenho: Uma Nova Hierarquia de Inteligência

Os resultados da fase inicial de testes revelam uma hierarquia clara entre os modelos mais avançados da indústria. De acordo com os dados, o Gemini 3 Flash (Thinking=High) emergiu como o melhor desempenho, atingindo uma pontuação Pass@1 de 24,0%. Este foi seguido de perto pelo GPT-5.2 (Thinking=High) e pelo Claude Opus 4.5 (Thinking=High). O Gemini 3 Pro (Thinking=High) também completou o nível superior da tabela de classificação. Esses resultados são particularmente notáveis porque destacam a eficácia dos modos de "pensamento" ou "raciocínio" — configurações onde o modelo recebe tempo de computação adicional para processar a lógica interna antes de gerar uma ação externa.

O sucesso das variantes "Thinking=High" em todas as principais famílias de modelos — Gemini do Google, GPT da OpenAI e Claude da Anthropic — sugere que a capacidade de autocorrigir-se e planejar internamente é o principal diferencial em tarefas de nível profissional. No entanto, mesmo a pontuação mais alta de 24,0% serve como um lembrete realista do estado atual da arte. Embora esses modelos estejam dando passos significativos no raciocínio, quase três quartos das tarefas profissionais no benchmark permaneceram fora de seu alcance, muitas vezes devido a falhas na integração de ferramentas ou ao acúmulo de pequenos erros ao longo da execução a longo prazo.

Padrões Profissionais em Código Aberto: Archipelago

Uma contribuição significativa desta pesquisa é o compromisso com a transparência e a reprodutibilidade. Juntamente com o benchmark em si, Vidgen, Mann e Fennelly disponibilizaram em código aberto o Archipelago, uma infraestrutura projetada especificamente para a execução e avaliação de agentes. O Archipelago permite que outros pesquisadores conectem diferentes modelos e os testem contra os mesmos cenários profissionais, fornecendo uma "sandbox" padronizada que imita uma estação de trabalho do mundo real.

Ao liberar os prompts, rubricas, gold outputs e metadados, os pesquisadores criaram um utilitário público para a comunidade de IA. Essa abordagem de código aberto visa evitar a "saturação do benchmark", onde os modelos são inadvertidamente treinados com os dados de teste. A granularidade dos metadados do APEX-Agents — que rastreia não apenas se um modelo teve sucesso, mas em que ponto da sequência de ações ele falhou — fornece aos desenvolvedores um roteiro para melhorar a persistência agêntica e a precisão no uso de ferramentas.

As Implicações para o Trabalho Corporativo

As implicações das descobertas do APEX-Agents para o setor de serviços profissionais são multifacetadas. Por um lado, a capacidade do Gemini 3 e do GPT-5.2 de navegar em arquivos jurídicos e financeiros complexos marca um marco significativo nas capacidades de IA. Por outro lado, as baixas taxas de sucesso absoluto sugerem que a IA é atualmente mais adequada como um assistente sofisticado do que como um substituto total para analistas humanos. A "fragilidade" dos agentes — sua tendência a falhar quando confrontados com comportamentos inesperados de software ou instruções ambíguas — continua sendo o principal obstáculo para a adoção generalizada.

Para empresas em bancos de investimento e advocacia, o benchmark fornece uma estrutura para decisões de "Build vs. Buy" (Construir vs. Comprar). Ele sugere que, embora os modelos de propósito geral estejam se tornando mais capazes, a lacuna entre o raciocínio geral e a execução específica do domínio ainda é vasta. As organizações podem precisar investir pesadamente em "wrappers" especializados ou no ajuste fino (fine-tuning) para elevar esses modelos aos níveis de precisão de 90% ou 95% exigidos para o trabalho autônomo voltado ao cliente.

Direções Futuras: O Caminho para os 100%

Olhando para o futuro, os pesquisadores indicam que a próxima fronteira para o APEX-Agents envolverá a expansão da diversidade de ferramentas profissionais e o aumento ainda maior da duração das tarefas. À medida que as empresas de IA lançam modelos com janelas de contexto ainda maiores e cadeias de raciocínio interno mais sofisticadas, o benchmark servirá como um "teste de estresse" persistente para a indústria. O objetivo é mover o ponteiro da atual taxa de sucesso de 24,0% em direção a um nível de confiabilidade que se equipare à entrega humana.

Em última análise, o APEX-Agents estabelece uma nova linha de base para o que significa uma IA ser "produtiva". Ele move a conversa além da novidade de uma interface de chat e entra nas questões práticas do trabalho profissional. À medida que os agentes autônomos continuam a evoluir, as métricas fornecidas por Vidgen, Mann e Fennelly provavelmente permanecerão um parâmetro crítico para medir a transição da IA que fala para a IA que trabalha.