Grok aumenta mais de 84 vezes por hora a visualização de imagens pornográficas, enquanto reguladores globais combatem o abuso de IA

Austrália, União Europeia e outros reguladores globais recentemente lançaram uma ofensiva conjunta contra o uso indevido de imagens por parte da inteligência artificial Grok. A agência de segurança digital da Austrália, eSafety, revelou que as denúncias relacionadas ao Grok dobraram, envolvendo múltiplas formas de abuso tanto de menores quanto de adultos. Dados ainda mais alarmantes mostram que o número de imagens de IA com conotação sexual geradas por hora pelo Grok é 84 vezes maior do que a soma dos cinco principais sites de deepfake. Essa tempestade não só reflete a lentidão na regulamentação diante da rápida expansão da IA generativa, mas também indica que uma nova era de conformidade está se acelerando.

Riscos de design de produto por trás do aumento de denúncias

Quão grave é a escala do problema

Julie Inman Grant, comissária de segurança digital da Austrália, afirmou que algumas denúncias envolvem materiais de exploração sexual infantil, enquanto outras estão relacionadas a abusos baseados em imagens de adultos. Segundo as últimas informações, o número de denúncias relacionadas ao Grok nos últimos meses dobrou, abrangendo várias formas de violação de imagens de menores e adultos.

Por que esse problema é tão destacado? A questão central está no posicionamento do produto Grok. Essa ferramenta de IA, desenvolvida pela xAI e integrada diretamente na plataforma X, é considerada mais “avançada” do que outros modelos mainstream, capaz de gerar conteúdos que alguns concorrentes se recusam a produzir. A xAI até lançou um modo específico para gerar conteúdo explícito, o que se tornou um foco de atenção dos reguladores.

Dados da Bloomberg quantificaram ainda mais a gravidade: o número de imagens de IA com conotação sexual geradas por hora pelo Grok é 84 vezes maior do que a soma dos cinco principais sites de deepfake. Isso não só demonstra a poderosa capacidade de geração de imagens do Grok, mas também revela vulnerabilidades evidentes no mecanismo de moderação de conteúdo.

Por que o Grok foi mencionado especificamente

O Grok enfrenta uma pressão regulatória maior em comparação com outras ferramentas de IA, por várias razões:

• Integração profunda com a plataforma X, com uma base de usuários enorme (X e Grok juntos têm cerca de 600 milhões de usuários ativos mensais)
• Design do produto com foco em “avançado”, com padrões de moderação relativamente permissivos
• Funcionalidades de edição e geração de imagens usadas diretamente para criar conteúdo ilegal
• Ausência de mecanismos adequados de verificação de idade e moderação de conteúdo

Ações de atualização dos reguladores globais

Posicionamento firme da Austrália

Julie Inman Grant destacou claramente que, de acordo com a legislação vigente na Austrália, todos os serviços online devem tomar medidas eficazes para impedir a disseminação de materiais de exploração sexual infantil, independentemente de terem sido gerados por IA ou não. Isso significa que as empresas não podem usar a alegação de “conteúdo gerado por IA” como desculpa para evitar responsabilidades.

Ela reforçou que, durante todo o ciclo de vida do produto de IA generativa, as empresas devem incorporar mecanismos de segurança; caso contrário, estarão sujeitas a investigações e ações legais. Isso não é uma recomendação, mas uma exigência obrigatória.

No que diz respeito à deepfake, a Austrália adotou uma postura ainda mais rígida. Um projeto de lei apresentado pelo senador independente David Pocock prevê multas elevadas para indivíduos e empresas que propagarem conteúdo de deepfake, reforçando o efeito dissuasório.

Requisitos de retenção de dados na UE

A Austrália não está isolada. Segundo as últimas notícias, a Comissão Europeia ordenou que a plataforma X retenha todos os documentos internos e dados relacionados ao Grok até o final de 2026. Essa extensão do prazo reflete a abordagem “séria” da UE em relação ao problema.

O objetivo dessa medida é claro: acumular evidências para futuras ações de fiscalização e investigação. Ao obrigar a retenção de dados, a UE prepara o terreno para possíveis investigações e penalidades subsequentes.

Desafios centrais enfrentados pelas empresas

Três dimensões de pressão para conformidade

Primeiro, no aspecto técnico. A fidelidade do conteúdo gerado por IA está cada vez mais realista, dificultando a identificação e a coleta de evidências. As empresas precisam investir mais em tecnologias de moderação e detecção, mas essa é uma corrida armamentista sem fim.

Segundo, no aspecto legal. As leis atuais são claramente insuficientes para lidar com conteúdos gerados por IA. Austrália e UE estão promovendo atualizações legislativas, mas a falta de um sistema jurídico global uniforme cria fragmentação na conformidade para empresas que operam internacionalmente.

Terceiro, no aspecto de reputação. Os incidentes de uso indevido de imagens pelo Grok já se tornaram foco de atenção global. Embora a plataforma X tenha declarado que irá remover conteúdos, banir contas e colaborar com autoridades, essas ações passivas já não são suficientes para mitigar o impacto negativo.

Por que isso é importante para toda a indústria

O caso Grok não representa apenas um problema de uma única empresa, mas um risco sistêmico para toda a indústria de IA generativa. Atualmente, muitas empresas adotam uma estratégia de “desenvolvimento primeiro, regulamentação depois”, e a lentidão na regulamentação se tornou uma norma. A postura firme da Austrália e da UE indica que essa situação está mudando.

Com as informações disponíveis, é provável que outros países sigam o exemplo com medidas regulatórias semelhantes. Isso obriga as empresas de IA generativa a considerarem a conformidade desde o início do desenvolvimento de seus produtos, e não apenas reagirem passivamente após problemas surgirem.

Como será o futuro

Com base nas ações da Austrália e da UE, a era da conformidade para IA generativa está se acelerando. As tendências futuras podem incluir:

• Mais países criando legislações específicas para conteúdos gerados por IA
• Reguladores elevando as exigências de conformidade de “recomendação” para “obrigação”
• Empresas incorporando mecanismos de segurança desde o início do design do produto, ao invés de remediar posteriormente
• Empresas de IA transnacionais enfrentando múltiplos quadros regulatórios sobrepostos
• Proteção de menores e deepfake se tornando prioridades regulatórias

Vale destacar que, embora a xAI tenha acabado de levantar US$200 bilhões em financiamento e sua avaliação atinja US$230 bilhões, esse montante não consegue resolver os riscos regulatórios que enfrenta. O poder do capital é limitado diante da lei.

Resumo

O incidente de uso indevido de imagens pelo Grok não é um evento isolado, mas uma manifestação do conflito entre a rápida expansão da IA generativa e a lentidão na regulamentação. Os alertas da agência australiana eSafety, a exigência de retenção de dados na UE e as propostas de multas elevadas pelos legisladores indicam que os reguladores globais já aceleraram o passo.

De “aumento de denúncias” a “regulamentação reforçada”, de “advertências” a “medidas obrigatórias”, esse processo pode estar acontecendo mais rápido do que muitos imaginavam. Para as empresas de IA generativa, a conformidade deixou de ser uma opção e passou a ser uma necessidade de sobrevivência. O próximo passo é observar se outros países seguirão o exemplo da Austrália e da UE, e qual será o impacto dessas ações nas funcionalidades e modelos de negócio dos produtos de IA.