A Anthropic disponibilizou uma nova funcionalidade “Computer Use” (controlo do computador) para a sua ferramenta de agentes de código com IA, o Claude Code, na forma de uma Research Preview (pré-visualização de investigação), para utilizadores de macOS. Esta funcionalidade permite que o Claude controle diretamente o ecrã do computador do utilizador — abrir aplicações, clicar em botões, introduzir texto, fazer capturas de ecrã — e encadear, na mesma conversa, um fluxo de trabalho completo desde a escrita do código até aos testes de UI, sem sair do terminal.
O que é que o Claude pode ajudar a “clicar”?
De acordo com a documentação técnica oficial, o Computer Use destina-se principalmente a tarefas que exigem uma interface gráfica (GUI), ou seja, aquelas em que “normalmente tens de pousar o terminal e fazer tu mesmo”:
Construção e validação de aplicações nativas: pede ao Claude para escrever uma aplicação para a barra de menus do macOS; ele compila-a, inicia-a, clica um a um em todos os controlos para confirmar que as funcionalidades estão a funcionar — e nem sequer precisaste de abrir essa App.
Testes de UI ponta-a-ponta: aponta para uma aplicação local Electron e diz “testa o novo fluxo de onboarding”; o Claude abre a App, clica no passo de registo e faz capturas de ecrã de cada ecrã. Não é necessário configurar Playwright, nem usar frameworks de testes.
Debug visual e de layout: diz ao Claude “este Modal está a ser cortado numa janela pequena”; ele encolhe a janela para reproduzir o bug, faz capturas de ecrã, modifica o CSS e confirma novamente o resultado da correção — ele consegue ver o ecrã que tu estás a ver.
Ferramentas que só têm GUI: ferramentas de design, painéis de controlo de hardware, simulador iOS ou qualquer software proprietário que não tenha CLI ou API.
Ordem de seleção das ferramentas do Claude
O Computer Use é a ferramenta “mais abrangente e também mais lenta”; o Claude seleciona a forma mais precisa por esta ordem:
Existe um MCP Server compatível → usa MCP
É um comando de shell → usa Bash
É uma operação no navegador e existe uma configuração para o Claude in Chrome → usa a extensão Chrome
Nenhuma das anteriores se aplica → só então ativa o Computer Use
Ou seja, o controlo do ecrã fica reservado para cenários em que “as outras formas não chegam”: aplicações nativas, emuladores/simuladores, ou ferramentas que não têm API.
Como ativar o Computer Use
O Computer Use é fornecido na forma de um MCP Server incorporado (nome:
computer-use
), por predefinição está desativado e é necessário ativá-lo manualmente:
Numa sessão interativa do Claude Code, executa /mcp, encontra computer-use na lista (aparece como desativado)
Seleciona e clica em Enable; as configurações são guardadas de forma persistente por projeto, pelo que apenas precisas de configurar uma vez por projeto
Na primeira vez que permitires que o Claude controle o computador, o macOS vai pedir duas permissões: Acessibilidade (Accessibility) e Gravação do ecrã (Screen Recording). Após autorizar, escolhe “Tentar novamente”; em alguns casos é necessário reiniciar o Claude Code
Autorizar Apps uma a uma em cada sessão de trabalho
Ativar
computer-use
não significa que o Claude consiga controlar todas as Apps no teu computador. Em cada sessão, quando o Claude precisa pela primeira vez de controlar uma determinada App, o terminal mostra um aviso, indicando:
Quais Apps o Claude quer controlar
Se existem pedidos de permissões adicionais (por exemplo, acesso à área de transferência)
Quantas outras Apps ficam ocultas durante o trabalho
Escolhe “Permitir para esta sessão” ou “Rejeitar”; a autorização é válida apenas para a sessão de trabalho atual. Para Apps com acesso amplo a nível de sistema, o sistema também mostra avisos adicionais:
Como o Claude vai trabalhar no teu ecrã
Bloqueio exclusivo de todo o sistema: após iniciar o Computer Use, é obtida uma trava/exclusão a nível de máquina. Se outra sessão do Claude Code já estiver a usar o computador, o novo pedido falha e indica que deves terminar primeiro a outra sessão.
Apps não autorizadas temporariamente ocultas: quando o Claude começa a controlar o ecrã, as Apps visíveis que não foram autorizadas ficam ocultas, garantindo que o Claude interage apenas com as Apps autorizadas. A janela do teu terminal mantém-se visível e não é alvo de capturas de ecrã; tu podes monitorizar em tempo real, e o Claude não consegue ver a sua própria saída. Quando o Claude terminar, as Apps ocultas são restauradas automaticamente.
Interromper quando quiser: depois de o Claude obter a trava, o macOS mostra uma notificação “Claude is using your computer · press Esc to stop”. Podes interromper a qualquer momento carregando em
Esc
ou no terminal premindo Ctrl+C; isto interrompe imediatamente, o Claude liberta a trava, restaura todas as Apps e devolve o controlo.
Mecanismos de segurança e fronteiras de confiança
Os documentos oficiais salientam especificamente que, ao contrário das ferramentas Bash em sandbox, o Computer Use é executado diretamente no teu ambiente de ambiente de trabalho (desktop), pelo que a fronteira de confiança é diferente. As proteções de segurança incorporadas incluem:
Autorização por App: o Claude só pode controlar as Apps que foram explicitamente autorizadas na sessão atual
Aviso sentinela: Apps que recebem permissões de acesso ao Shell, ao sistema de ficheiros ou às definições do sistema são marcadas especificamente antes de serem autorizadas
Deteção de injeção de prompts com avisos automáticos: o Claude verifica o conteúdo no ecrã e marca potenciais ataques de injeção de prompts
Condições e limitações
É necessário subscrever um plano Pro ou Max (planos Team, Enterprise não se aplicam)
É necessário o Claude Code v2.1.85 ou superior
Atualmente suporta apenas macOS (fase de Research Preview)
Deve ser usado numa sessão interativa; não suporta modo não interativo (bandeira -p)
As Apps como navegadores e plataformas de transações estão limitadas a “modo de visualização”; o terminal e o IDE são “modo de clique”; outras Apps têm controlo total
O MacRumors aponta que, em comparação com os concorrentes, o Computer Use do Claude adota um desenho mais rigoroso e orientado por prioridade de permissões, e que neste momento é apenas para Mac, enquanto outras soluções já suportam macOS, Windows e Linux.
Para programadores, o maior valor desta funcionalidade está em encurtar o ciclo de “escrever código → testar → corrigir bugs” — o Claude não só escreve code, como também consegue ver pessoalmente o teu ecrã para validar os resultados.
Aviso de risco: Investir em criptomoedas envolve um elevado nível de risco; o seu preço pode oscilar de forma drástica e poderás perder a totalidade do capital investido. Avalia cuidadosamente o risco.
Este artigo Novas funcionalidades do Claude Code: a IA controla diretamente o ecrã do teu Mac, de escrever código no terminal a testes com cliques — num fluxo completo, apareceu pela primeira vez em 鏈新聞 ABMedia.
