você sabia que IAs já usam mouse e teclado? — Computer use

Até pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte técnica, como uma API, para que o sistema pudesse interagir com aquele serviço. Agora, a IA também pode ir direto à tela, como faria uma pessoa.

A capacidade, conhecida como computer use, ganhou projeção em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em versão beta pública. OpenAI, Google e empresas chinesas vieram em seguida.

A ideia é permitir que a IA assuma tarefas repetitivas em sites e programas, mesmo quando eles não oferecem uma integração com outros softwares.

O problema é que entregar o mouse a uma máquina também abre espaço para erros caros e ataques escondidos em páginas comuns.

Confira, a seguir, o que é computer use, como a IA interpreta a tela e usa mouse e teclado, em que o recurso difere de outras formas de automação e quais cuidados ele exige.

Computer use é o recurso que permite a uma IA operar o computador pela mesma interface que as pessoas usam. A cada passo, o sistema analisa uma captura da tela, decide a próxima ação e confere o resultado antes de seguir.

Essa ação pode ser um clique, uma rolagem ou a digitação de um texto digitado em um campo. O computer use não é um programa específico e sim uma capacidade que diferentes sistemas de IA podem ter.

Na prática, a funcionalidade costuma aparecer dentro de agentes de IA — sistemas que planejam e executam tarefas com algum grau de autonomia. O agente é quem atua sobre a tela, ao contrário de um chatbot convencional, que apenas orienta o usuário.

O computer use serve, principalmente, para o agente atuar onde não há uma integração disponível, como em programas e sites sem API, o mecanismo de conexão que permite a dois softwares trocarem dados diretamente.

Sistemas antigos de empresas, portais públicos e sites sem integração são exemplos típicos. Nesses casos, o agente recorre à mesma interface que uma pessoa usaria para preencher formulários ou consultar cadastros.

Uma IA usa mouse e teclado por meio de um ciclo de observação e ação: recebe uma captura de tela, decide o próximo passo e devolve uma instrução, como clicar em um ponto ou digitar uma palavra.

A IA não toca fisicamente no mouse nem no teclado: ela gera comandos como “clique em (x, y)” ou “digite ‘José’”. Quem faz o clique de verdade é o ambiente montado pelo desenvolvedor — em geral um navegador ou uma máquina virtual, separados do computador real.

Depois de cada etapa, uma nova captura de tela volta ao modelo. É esse retorno que permite corrigir o rumo: se o botão não estava onde o modelo esperava, ele tenta de novo.

Na documentação da OpenAI, as ações incluem clicar, dar duplo clique, arrastar, rolar a página, pressionar teclas, digitar e esperar. O modelo também pode escrever um pequeno código que roda vários comandos de uma vez — útil quando a tarefa tem muitos passos previsíveis.

Antes de clicar em qualquer coisa, a IA precisa interpretar a imagem da tela. Essa interpretação depende da visão computacional, ramo da IA que extrai informação de imagens, e dos modelos multimodais, treinados com texto e imagem ao mesmo tempo.

Eles reconhecem botões e campos na captura e localizam cada um em pixels. Acertar essa posição é a parte mais delicada do processo, pois um desvio de poucos pixels já basta para clicar no botão ao lado, e não no botão certo.

Por isso, o agente confere a tela a cada pequeno grupo de ações, e não só no fim. Se algo saiu do lugar, o erro aparece antes de virar problema maior.

A principal diferença entre computer use e tool calling está no caminho até o resultado. No tool calling (chamada de ferramentas), o modelo aciona funções criadas por programadores, que falam direto com uma API.

Já no computer use, a IA entra pela mesma porta que as pessoas: em princípio, se o programa abre na tela, o agente consegue operá-lo. Em troca, esse agente interpreta capturas de tela, o que costuma ser mais lento e sujeito a erro do que ler dados prontos de uma API.

A automação tradicional, como um programa que preenche formulários, lembra uma gravação: repete sempre a mesma sequência fixa de passos (macro), mas falha se um botão muda de lugar. O agente com computer use interpreta a tela e lida melhor com essas mudanças.

Computer use e tool calling podem, sim, trabalhar juntos, porque a IA não precisa usar a tela o tempo todo. Se existe uma API para a tarefa, o agente chama essa API e reserva o computer use para o que não tem integração.

Imagine um agente que precisa consultar o cadastro de um cliente no sistema da empresa e baixar um documento em um portal público. O agente usa uma API para o cadastro e o computer use para o portal, que não oferece integração.

Na documentação da OpenAI, o computer use pode ser integrado ao modelo por meio de uma chamada de função. Na implementação recomendada para o modelo GPT-6 Astra, o modelo solicita a execução de um script, e o ambiente devolve o resultado, inclusive capturas de tela, para orientar o passo seguinte.

Quais são as vantagens e as limitações do computer use?

O computer use faz coisas que a automação tradicional não fazia, mas ainda erra em tarefas longas e em telas confusas. Os principais pontos de cada lado são:

Um estudo apresentado na conferência de sistemas de aprendizado de máquina MLSys 2026 mostra a dimensão da ineficiência. Entre 16 agentes avaliados, mesmo os melhores levaram de 2,7 a 4,3 vezes mais passos do que o caminho ideal traçado por humanos.

O computer use amplia um risco já conhecido: a IA processa o que está na tela e pode obedecer. Uma página maliciosa pode esconder ordens para desviar o agente — é a chamada injeção de prompt.

Se o agente estiver com a conta aberta, uma ordem escondida pode levá-lo a enviar dados pessoais, fazer compras ou apagar arquivos sem que ninguém perceba. Por isso, as empresas desenvolvedoras tratam tudo o que aparece na tela como conteúdo não confiável.

Embora tenha evoluído rapidamente, o computer use ainda resolve poucas tarefas longas. O OSWorld, teste padronizado publicado em 2024 com 369 tarefas reais em sistemas operacionais, mostrou uma diferença expressiva: pessoas concluíram 72,4% das tarefas, enquanto o melhor modelo avaliado na época alcançou apenas 12,2%.

No ano seguinte, o jogo virou. No OSWorld-Verified, versão revisada do mesmo teste, os agentes passaram, pela primeira vez, a marca humana de 72,4% e chegaram a 83,4% com o Claude Opus 4.8, da Anthropic.

Mas o problema continua aparecendo em tarefas longas. Recentemente, no OSWorld 2.0 — com 108 fluxos profissionais que tomam cerca de 1,6 hora de uma pessoa —, o melhor agente concluiu só 20,6%.

Segundo os autores do benchmark, os agentes ainda esquecem restrições, perdem informações no meio do caminho e pulam a verificação final.

O computer use colocou a IA diante das mesmas telas que usamos todo dia. Ela já dá conta de tarefas curtas, mas ainda se perde em fluxos longos e em armadilhas escondidas no que processa.

À medida que os agentes ganham autonomia, a grande questão deixa de ser técnica. Não é mais se a IA acerta o botão — é quais botões aceitamos que ela aperte sozinha, quando ninguém está olhando.

Você deixaria um agente de IA assumir o mouse e o teclado do seu computador? Compartilhe esta matéria nas suas redes sociais e fique ligado no TecMundo para ficar de olho nos próximos cliques dos agentes de IA!

Reiteramos nosso compromisso em indicar apenas produtos e promoções curados e selecionados pelos nossos especialistas, sempre levando em consideração a experiência dos nossos leitores.

Sempre verifique códigos e descontos. Lojas e marcas podem alterar ou encerrar ofertas a qualquer momento.