Computer use: você sabia que IAs já usam mouse e teclado?

Até pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte técnica, como uma API, para que o sistema pudesse interagir com aquele serviço.

Agora, a IA também pode ir direto à tela, como faria uma pessoa.

A capacidade, conhecida como computer use , ganhou projeção em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em versão beta pública.

OpenAI, Google e empresas chinesas vieram em seguida.

A ideia é permitir que a IA assuma tarefas repetitivas em sites e programas, mesmo quando eles não oferecem uma integração com outros softwares.

O problema é que entregar o mouse a uma máquina também abre espaço para erros caros e ataques escondidos em páginas comuns.

Confira, a seguir, o que é computer use, como a IA interpreta a tela e usa mouse e teclado, em que o recurso difere de outras formas de automação e quais cuidados ele exige.

O que é computer use em inteligência artificial? Computer use é o recurso que permite a uma IA operar o computador pela mesma interface que as pessoas usam.

A cada passo, o sistema analisa uma captura da tela, decide a próxima ação e confere o resultado antes de seguir.

Essa ação pode ser um clique, uma rolagem ou a digitação de um texto digitado em um campo.

O computer use não é um programa específico e sim uma capacidade que diferentes sistemas de IA podem ter.

Na prática, a funcionalidade costuma aparecer dentro de agentes de IA — sistemas que planejam e executam tarefas com algum grau de autonomia.

O agente é quem atua sobre a tela, ao contrário de um chatbot convencional, que apenas orienta o usuário.

Para que serve o computer use? O computer use serve, principalmente, para o agente atuar onde não há uma integração disponível , como em programas e sites sem API, o mecanismo de conexão que permite a dois softwares trocarem dados diretamente.