Professor Ethan Mollick da Wharton School of Business: resolver o problema das alucinações da IA com uma mentalidade de “design organizacional”

As “alucinações” (hallucination) da IA continuam, até hoje, a ser um dos problemas mais irritantes dos grandes modelos de linguagem (LLM), a professora da Wharton Business School Ethan Mollick apresentou no X uma perspetiva intrigante: os seres humanos já desenvolveram há centenas de anos mecanismos maduros que conseguem obter resultados fiáveis a partir de fontes não fiáveis — esse mecanismo chama-se “estruturas organizacionais” (organizational structures) — e nós podemos aplicar métodos semelhantes à IA. Este tweet reuniu 329 corações, 35 retweets e 44 respostas, desencadeando um debate aprofundado sobre como lidar de forma prática com as alucinações da IA.

O que é a analogia das “estruturas organizacionais”?

O argumento central de Mollick aponta diretamente para um facto frequentemente ignorado: os seres humanos nunca foram uma fonte de informação perfeitamente fiável. Ao longo da história, quer nas contas contabilísticas, nos diagnósticos médicos ou em decisões judiciais, a saída humana esteve sempre sujeita ao risco de erros. No entanto, a civilização consegue funcionar normalmente porque desenvolvemos todo um conjunto de “estruturas organizacionais” para controlar esses riscos.

Essas estruturas organizacionais são, na essência, uma espécie de “máquina de interceção de erros” altamente sofisticada: ao mesmo tempo em que se introduzem a especialização do trabalho, auditorias por hierarquia, validações cruzadas e processos institucionalizados, a não fiabilidade dos indivíduos é transformada em fiabilidade ao nível do sistema. Mollick defende que, em vez de nos fixarmos em procurar uma “IA que nunca cometa erros”, devemos mudar de perspetiva — tal como tratamos os trabalhadores humanos, devemos criar para a IA um sistema de controlo de qualidade organizado.

Métodos de aplicação específicos: revisão, testes e validação cruzada

No debate subsequente gerado pelo tweet, Mollick e outros participantes exploraram ainda alguns métodos concretos que podem ser diretamente inspirados na gestão organizacional. Em primeiro lugar, os “mecanismos de revisão” (reviews): tal como acontece com a aprovação de um gestor nas empresas ou com a avaliação entre pares, permite-se que outro modelo de IA ou um especialista humano verifique de forma sistemática a saída de um LLM.

Em segundo lugar, os “mecanismos de testes” (tests): semelhantes aos testes unitários e aos processos de garantia de qualidade no desenvolvimento de software, definindo padrões verificáveis para cada saída da IA. Em terceiro lugar, as “validações cruzadas” (cross-checks): fazer com que vários modelos de IA independentes ou fontes de informação deem respostas para a mesma questão e, em seguida, comparar a consistência dos resultados — tal como o equilíbrio e a fiscalização mútua entre diferentes departamentos numa organização.

A lógica comum destes métodos é a seguinte: em vez de depender da perfeição de um único nó, reduz-se a taxa total de erros através da conceção do sistema. Isto vai ao encontro do conceito do “modelo do queijo suíço” (Swiss Cheese Model) na teoria moderna de gestão da qualidade — cada camada de proteção tem falhas, mas, quando se somam várias camadas, a probabilidade de um erro atravessar todos os níveis diminui drasticamente.

Implicações para a implementação de IA nas empresas

Esta estrutura de pensamento de Mollick é especialmente inspiradora para as empresas que estão a integrar IA. Muitas empresas, ao lidarem com o problema das alucinações da IA, acabam por cair em dois extremos: ou, por medo de errar, nem sequer se atrevem a usar IA, ou confiam em excesso na saída da IA e ignoram a validação. O pensamento por via do desenho organizacional oferece um caminho intermédio — reconhece-se que a IA pode cometer erros, mas, através do desenho institucional, controla-se o erro dentro de limites aceitáveis.

Concretamente, as empresas podem criar um “processo de gestão da qualidade da IA”: encarar a IA como um “colaborador” na organização, equipá-la com mecanismos de revisão, definir limites claros de responsabilidades, criar sistemas de deteção de anomalias e manter uma validação humana nas etapas-chave de decisão. Esta abordagem não só é mais pragmática como também se ajusta melhor à lógica de gestão que as empresas já conhecem. Para a indústria de IA, a perspetiva de Mollick lembra-nos que a resposta para resolver as alucinações da IA pode não estar apenas no plano técnico, mas também em repensar a estrutura organizacional da colaboração entre humanos e máquinas.

Este artigo Wharton Business School professora Ethan Mollick: resolver o problema das alucinações da IA com o pensamento das “estruturas organizacionais” foi publicado pela primeira vez em Cadeia Notícias ABMedia.