Qual é o que os gigantes de IA mais temem em segredo? Axios: preocupação com o uso malicioso para fabricar “patógenos letais”, desencadeando um desastre biológico

De acordo com a Axios, em uma reportagem de coluna assinada, ao perguntar em particular a arquitetos de IA e líderes de tecnologia quais riscos mais preocupam, a maioria aponta que a IA pode ser usada de forma maliciosa, criando patógenos letais capazes de se espalhar de maneira silenciosa e rápida. Uma pesquisa recente também alerta que, na ausência de medidas de proteção adequadas, a probabilidade de um evento catastrófico causado por IA que resulte em mais de 1 milhão de mortes até 2030 será superior a 20%.
（Contexto: Nvidia vs AMD está dando o que falar em CPU, confronto grande de arquitetura—quem conseguirá definir o novo padrão de inteligência para agentes de IA?）
（Detalhe de bastidores: receita em nuvem da Googel no 2T dispara 82%! Morgan Stanley: IA entra na fase de retorno, vale a pena comprar em baixa）

Com o rápido avanço da tecnologia de inteligência artificial, os gigantes da tecnologia que impulsionam a evolução de modelos de ponta têm, no entanto, um medo profundo e escondido do futuro. Segundo a mais recente reportagem da coluna da Axios, “Behind the Curtain”, ao perguntar reservadamente a quase todos os arquitetos de IA e líderes quais riscos mais os preocupam, as respostas foram surpreendentemente unânimes: um tipo de patógeno letal que consegue se espalhar de forma ampla e rápida, passando despercebido, antes que as pessoas consigam impedir.

Consenso entre especialistas: IA pode acelerar desenvolvimento de armas biológicas

Os especialistas raramente concordam, mas entendem que modelos avançados de IA têm grande chance de ajudar agentes maliciosos a criar patógenos letais facilmente antes que governos e indústrias de diferentes países estabeleçam sistemas robustos de prevenção. À medida que a IA passa a compreender cada vez mais as fragilidades biológicas humanas, isso já é visto pelo setor como um risco grave “plausível”.

Um estudo recente do MIT (FutureTech) e da Universidade de Queensland, com 272 pesquisadores, classificou 24 principais riscos de IA. Os resultados mostram que, sem qualquer medida de mitigação, até 2030 a probabilidade de consequências catastróficas decorrentes de capacidades perigosas de IA (definidas como mais de 1 milhão de mortes ou US$ 100 bilhões em danos) é superior a 20%; mesmo com medidas de mitigação, a chance de ocorrer uma catástrofe e de a IA habilitar armas de causar dano em grande escala ainda fica em torno de 12% cada.

Alertas de gigantes de IA em conjunto: rede de proteção vira foco da regulação

Essa ameaça potencial do fim do mundo não é infundada. No mês passado, líderes de tecnologia como Sam Altman, da OpenAI; Dario Amodei, da Anthropic; Demis Hassabis, da Google DeepMind; Mustafa Suleyman, da Microsoft; e Alexandr Wang, da Meta, acabaram de assinar juntos uma carta pública, alertando com firmeza sobre o risco de armas biológicas derivadas de IA e defendendo fortemente o reforço das salvaguardas.

Os especialistas temem que agentes maliciosos com recursos suficientes possam usar modelos poderosos para mapear as fragilidades biológicas humanas e encontrar opções de ajuste genético que tornem patógenos conhecidos mais fáceis de transmitir ou mais resistentes à imunidade dos tratamentos existentes. Com treinamento em grandes volumes de dados biológicos e genômicos, a velocidade com que a IA gera soluções candidatas viáveis é como se centenas das mentes mais brilhantes estivessem trabalhando em altíssima velocidade, sem dormir.

Em seguida, essas soluções podem ser usadas para sintetizar, com o uso de ferramentas de edição genética cada vez mais baratas. Por fim, esses patógenos inovadores podem começar a se espalhar antes de o sistema de saúde pública perceber, tornando o controle muito mais difícil do que foi na era da COVID-19. Isso também coloca em evidência o debate sobre se “modelos open source” são facilmente abusados sem supervisão, e como equilibrar o avanço da tecnologia com a prevenção de intenções maliciosas será um desafio sério que toda a humanidade terá de enfrentar em conjunto.