Harvard e Perplexity medem a autonomia dos agentes a partir de dados de produção, 26 minutos de trabalho de máquina por sessão versus 33 segundos para o chat

Um novo estudo de Harvard e Perplexity, "How AI Agents Reshape Knowledge Work: Autonomy, Efficiency, and Scope" (Jeremy Yang de Harvard com Kate Zyskowski, Noah Yonack e Jerry Ma da Perplexity, arXiv 2606.07489), faz algo que o discurso de agentes mayormente skip: mede, a partir de dados de produção, quanto tempo os agentes realmente rodam de forma autônoma. O número headline é 26 minutos de tempo de execução de máquina por sessão para Perplexity Computer, o orquestrador agentic, contra 33 segundos para Perplexity Search, o motor de resposta conversacional, um gap de 48x. As medianas são mais apertadas mas contam a mesma história, 9 minutos versus 14 segundos, um gap de 40x. O valor aqui não é a contagem de minutos específica, é que a medição vem dos mesmos users batendo em dois produtos sobre a mesma janela de 90 dias (27 de fevereiro a 27 de maio de 2026), matcheados em 10.000 pares de sessões com cosine similarity acima de 0,99, então a comparação isola a diferença agentic-versus-conversational em vez de confundi-la com quem pergunta ou sobre o que perguntam. As sessões Computer foram gated na invocação real de "do" tools, execução de código, ações de browser, escritas de arquivo, connector calls, então os 26 minutos são trabalho de máquina, não user think-time.

A metodologia é a parte que os builders deveriam levar a sério, porque é um template para medir seus próprios agentes honestamente. A maioria dos claims de autonomia de agente são vendor demos: um único run impressionante, uma sessão de 35 horas cherry-pickeada, um benchmark desenhado para ser passado. Este estudo em vez disso leva o counterfactual a sério. Estima que um profissional usando Search sozinho precisa de 269 minutos por tarefa, enquanto Computer-mais-humano precisa de 36 minutos, uma economia de 87% de tempo e 94% de custo, e então nomeia o breakeven honestamente: um profissional que pode completar todos os passos manuais em menos de 20 minutos não se beneficia, porque o overhead do agente não vale a pena abaixo desse limiar. Esse é um framing útil e incomumente cândido, o agente ganha em tarefas suficientemente longas para amortizar seu custo de setup e oversight, e perde nas curtas, que é exatamente o cálculo que um builder deveria rodar antes de agentificar um workflow. O sinal de qualidade aponta na mesma direção: as sessões Computer mostraram uma taxa de dissatisfaction de 1,3% contra 2,9% para Search, uma redução de 55%, então os runs autônomos mais longos não estavam comprando velocidade ao custo da correctness em agregado.

O finding que abre uma pergunta maior que o benchmark é sobre o scope, e é a parte que vale sentar com ela. Quando os users tinham um agente disponível, não faziam só o mesmo trabalho mais rápido, tentavam trabalho diferente. 76% das queries agentic alcançaram cognição Bloom de ordem superior (analisar, avaliar, criar) contra 55% para o conversacional, e 59% cruzaram fronteiras ocupacionais contra 50%, significando que as pessoas alcançavam além de seu próprio domínio em tarefas que não tentariam normalmente. Este é o efeito de segunda ordem que o número de 26 minutos undersell. A autonomia não meramente comprime o tempo que uma tarefa conhecida leva, muda o conjunto de tarefas que uma pessoa considera worth starting, porque o custo de tentar algo ambicioso ou fora de seu expertise cai quando um agente pode carregar os 26 minutos de execução. A curva de adoção embaixo é steep, as queries Computer cumulativas cresceram a 84x seu total de primeira semana através da janela de estudo, então a mudança de comportamento não é um artefato de lab, é o que as pessoas fizeram quando a capability estava realmente em suas mãos. Isso reframe toda a conversa agent-autonomy de "quanto tempo pode rodar" para "o que a autonomia barata faz à shape do trabalho que as pessoas escolhem," e essa segunda pergunta é a que tem a cauda mais longa.

Segunda-feira pela manhã, se você decide se agentificar um workflow: o breakeven abaixo-de-20-minutos é o número a internalizar, os agentes ganham seu overhead em tarefas long-horizon multi-step e perdem em lookups rápidos, então mire nas primeiras e deixe as últimas como plain calls. Se você mede seus próprios agentes: este paper é uma metodologia a copiar, matcheie sessões agentic e conversacionais dos mesmos users, gate na invocação real de tool, meça o tempo de execução de máquina em vez do wall-clock ou vendor demos, e estime o custo counterfactual do caminho human-only, porque é isso que transforma "nosso agente é impressionante" em "nosso agente economiza X minutos acima de um limiar de Y minutos." Se você tracka os threads agent-runtime, este é o floor empírico embaixo do eixo persistence-in-time que vimos os vendors assertarem (os runs autônomos de 35 horas, as tarefas scheduladas always-on), agora grounded no que os users de produção realmente obtiveram, dezenas de minutos por sessão, não horas, mas suficiente para mudar quais tarefas tentaram. E se você pensa além da build sheet, o finding de scope é o que guardar: a consequência interessante dos agentes autônomos pode não ser o trabalho que fazem, mas o trabalho mais ambicioso que as pessoas começam a tentar uma vez que o custo de execução da ambição cai.