Uso de Computadores
Por que isso importa
Em profundidade
Um sistema de uso de computadores é um loop, não um modelo isolado. Uma captura da tela atual entra em um modelo multimodal; o modelo raciocina sobre a tarefa e a conversa até ali, então emite uma ação estruturada — clicar nestas coordenadas de pixels, digitar esta string, pressionar esta tecla, rolar; um pequeno executor realiza a ação dentro de um ambiente isolado, tira uma nova captura, acrescenta-a à conversa, e o ciclo se repete. Uma tarefa como "encontre um voo para Tóquio por menos de US$ 900 e preencha o formulário de reserva" pode exigir de 30 a 100 dessas etapas e vários minutos, porque cada etapa é uma chamada completa ao modelo com imagens no contexto. Isso estabelece um contrato fundamentalmente diferente do de um Agente Autônomo construído sobre APIs: em vez de chamar funções com argumentos tipados, o agente opera os mesmos pixels e widgets que um humano, com toda a ambiguidade e fragilidade que isso implica.
O Loop de Captura e Ação
O mecanismo é deliberadamente simples. O modelo vê pixels, não o DOM nem uma árvore de acessibilidade (embora agentes de navegador muitas vezes acrescentem a árvore de acessibilidade como segunda entrada para facilitar a referência aos elementos), e responde com uma ação mais coordenadas exatas — "clique com o botão esquerdo em (412, 637)". Acertar as coordenadas é a parte difícil: o modelo precisa fundamentar um conceito visual como "o botão Salvar" em uma posição de pixels, razão pela qual o uso de computadores levou modelos com capacidade Multimodal a serem treinados especificamente em capturas de tela com elementos de interface anotados. Capturas também devoram contexto: um único quadro de desktop pode custar cerca de mil tokens, portanto uma sessão de 50 etapas acumula muito histórico visual, e as implementações reduzem a resolução ou descartam quadros antigos para permanecer dentro da janela. Cada viagem de ida e volta custa alguns segundos de inferência mais a execução da ação, por isso agentes de GUI parecem lentos ao lado do Uso de ferramentas por APIs estruturadas — a latência é o preço da generalidade.
Os Lançamentos que Definiram a Categoria
A Anthropic transformou "computer use" em categoria de produto em outubro de 2024, quando uma atualização do Claude 3.5 Sonnet foi lançada com uma beta pública da capacidade: desenvolvedores receberam um ambiente de referência (um desktop Linux em um container com display virtual) e uma definição de ferramenta que permite ao modelo solicitar ações de mouse, teclado e captura de tela pela API. A Anthropic apresentou o recurso explicitamente como experimental — às vezes trabalhoso e sujeito a erros — e o direcionou a desenvolvedores automatizando trabalho repetitivo no desktop. Em janeiro de 2025, a OpenAI levou a ideia aos consumidores com o Operator, um produto hospedado alimentado por seu modelo Computer-Using Agent (CUA): o agente opera um navegador na nuvem, pode navegar por sites e preencher formulários e devolve o controle ao usuário para logins, pagamentos e outras etapas sensíveis. Uma onda de agentes de navegador de código aberto seguiu o mesmo padrão, e o "agente de GUI" geral virou item padrão nos roadmaps de agentes.
OSWorld e a Matemática da Confiabilidade
O progresso é acompanhado principalmente no OSWorld, um Benchmark de cerca de 370 tarefas reais — editar planilhas, configurar aplicativos, mover arquivos entre programas — executadas em máquinas virtuais Ubuntu ativas, ao lado de suítes centradas na web como WebArena e WorkArena. Humanos concluem cerca de 72% das tarefas do OSWorld. O primeiro lançamento de uso de computadores conseguiu aproximadamente 15%, e o CUA da OpenAI elevou o número a pouco menos de 40% no início de 2025 — o estado da arte na época, e ainda longe de ser confiável. A parte brutal é a composição: se cada etapa tem 95% de sucesso, uma tarefa de 30 etapas só tem cerca de 21% de chance de sucesso, e uma de 100 etapas quase nunca funciona. É por isso que a avaliação de agentes de GUI reporta sucesso na tarefa completa, não precisão por etapa, e que implantações de produção mantêm tarefas curtas, verificáveis e reversíveis.
Ele Não Substituirá suas APIs
Um equívoco comum é que agentes de GUI tornam integrações obsoletas — por que construir conectores se o agente pode simplesmente usar o software como uma pessoa? Na prática, clicar em pixels é o último recurso: é lento, frágil diante de mudanças na interface e pop-ups e difícil de auditar em comparação com uma chamada estruturada de Chamada de Função ou uma ferramenta MCP com entradas e saídas tipadas. Se o sistema-alvo tem uma API, use-a; a GUI serve para a cauda longa de software que não tem nenhuma — aplicativos de desktop legados, portais de fornecedores, ferramentas internas pontuais. Os agentes de produção mais fortes são híbridos: operam APIs onde estiverem disponíveis e descem ao controle da tela apenas quando não houver um caminho mais limpo, confinando os frágeis cliques em pixels às poucas etapas que realmente precisam deles.
Injeção de Prompt é a Parte Difícil
Um agente de GUI lê tudo o que está na tela, e, na web aberta, parte desse conteúdo é adversarial. Uma página, um e-mail ou um documento pode carregar instruções ocultas — texto invisível dizendo ao agente para encaminhar os arquivos do usuário para algum lugar —, e um modelo que trata o conteúdo da tela como comando às vezes obedece, o que é Injeção de Prompt com cliques reais de mouse por trás. Os dois produtos de referência foram lançados com esse alerta: a Anthropic recomenda executar o uso de computadores em uma máquina virtual dedicada, com privilégios mínimos e sem credenciais largadas por ali, e o Operator coloca compras e logins atrás da confirmação do usuário e de um modo de tomada de controle em que o humano digita a senha. O manual prático corresponde à postura de Segurança em IA de qualquer sistema agêntico: isole o ambiente, permita apenas sites previamente aprovados, nunca lhe dê segredos além da etapa atual e exija aprovação humana para qualquer coisa irreversível, como enviar, pagar ou excluir.