A ameaça de injeção de prompts enfrentada por agentes de IA: mesmo após a atualização de defesa, o risco permanece alto.

[moeda] Uma empresa de IA de destaque recentemente expôs um fato constrangedor: seu produto de navegador inteligente enfrenta um problema de segurança persistente - ataques de injeção de提示. Em termos simples, isso significa que hackers podem manipular secretamente o agente de IA para executar operações maliciosas por meio de comandos ocultos em páginas da web ou e-mails. Não é novidade, mas a empresa também admitiu que esse tipo de ataque é basicamente impossível de erradicar completamente.

Para enfrentar essa dificuldade, eles ativaram um sistema de defesa automatizado baseado em grandes modelos de linguagem. Este sistema de defesa foi treinado com aprendizado reforçado, capaz de simular continuamente novos métodos de ataque que os hackers podem usar, permitindo detectar e fechar vulnerabilidades antecipadamente. Os resultados foram positivos – recentemente, conseguiram identificar e bloquear e-mails maliciosos que tentavam enganar os agentes a enviar cartas de demissão.

Mas aqui há uma questão crucial: navegadores inteligentes como este, essencialmente, possuem uma certa capacidade de tomada de decisão autónoma e podem aceder aos dados sensíveis dos usuários. Com esta combinação de permissões e autonomia, o nível de risco de segurança pode ainda não ter atingido um patamar que permita aos usuários utilizá-los diariamente com confiança. Em termos simples, os avanços na capacidade de defesa não acompanham a velocidade do crescimento dos riscos.