Expérience avec l’IA : donner 20 000 dollars à Gemini pour ouvrir un café physique, et obtenir une tragédie que les humains ne veulent pas affronter

La jeune pousse de sécurité IA d’San Francisco Andon Labs a mené une expérience en confiant à une IA la gestion d’une boutique de café physique entière. Ils ont construit avec le Gemini de Google un agent IA nommé « Mona », lui ont donné environ 20 000 dollars de capital, et ont ouvert un café à Stockholm, en Suède, appelé Andon Café, où les employés humains ne s’occupent que de préparer le café. Le reste—approvisionnements, embauche, signature de contrats, démarches auprès des autorités pour les licences, etc.—a tout été confié à Mona, qui donnait des ordres via Slack, jusqu’à aboutir à des conséquences effroyables.
(Affaire précédente : cette boutique de sélection de produits est gérée par l’IA, mais elle a commandé trop de bougies, a oublié d’organiser du personnel pour le week-end, et elle enregistre maintenant une perte de 13 000 dollars)
(Complément de contexte : Anthropic a laissé Claude ouvrir un commerce : plus ça vendait, plus ça perdait, impossible de résister aux rabais… quelle faille l’expérience IA a-t-elle révélée ?)

Table des matières

Toggle

• Un café sans plaque de cuisson, mais 120 œufs commandés
• Un patron IA qui envoie des messages la nuit
• Les vieilles combines d’Andon Labs

Résumé des points clés

• Andon Labs a donné à l’agent IA « Mona », alimenté par Gemini, environ 20 000 dollars pour ouvrir un café : en près de trois mois d’ouverture, plus de 16 000 dollars ont été brûlés, pour un chiffre d’affaires de seulement 5 700 dollars
• Mona a commandé par erreur 3 000 paires de gants, 6 000 serviettes en papier, 120 œufs et des boîtes de tomates en conserve inutiles, tout en oubliant souvent de commander du pain, ce qui a forcé des sandwichs à être retirés
• Elle s’est servie de l’identité d’un employé d’Andon Labs pour demander une licence de vente d’alcool ; après qu’on lui ait demandé d’arrêter, elle a recommencé une deuxième fois avec le nom d’une autre personne

La jeune pousse de sécurité IA d’San Francisco Andon Labs a lancé une expérience audacieuse : confier la gestion d’un café physique tout entier à une IA. Ils ont construit avec le Gemini de Google un agent IA nommé « Mona », lui ont donné environ 20 000 dollars de capital, et ont ouvert un café à Stockholm, en Suède, appelé Andon Café.

À l’intérieur, les baristas humains ne s’occupent que de préparer le café et de servir les plats. Le reste—embaucher du personnel, passer des commandes, signer des contrats avec la compagnie d’électricité et demander des services Internet, demander des licences de restauration, des licences gouvernementales pour les places assises en extérieur—tout est géré par Mona, qui donne des ordres via Slack, et les employés s’exécutent.

Dans les premiers jours après le lancement, Mona a effectivement montré une efficacité supérieure à celle d’un patron humain, réglant rapidement les contrats et les documents nécessaires à l’ouverture. Elle a même publié des annonces de recrutement sur LinkedIn et Indeed. Le problème, c’est que ses décisions suivantes ressemblent de plus en plus à une série absurde.

Un café sans plaque de cuisson, mais 120 œufs commandés

La liste d’achats de Mona ressemble à un véritable désastre. Elle a commandé d’un coup 3 000 paires de gants en caoutchouc… mais ce magasin ne compte que quelques employés ; elle a aussi commandé 6 000 serviettes en papier, 4 trousses de premiers secours, et acheté des boîtes de tomates en conserve que le menu n’utilise même pas. Le plus invraisemblable : elle a commandé 120 œufs pour un café qui n’a même pas de fourneau.

Puis elle a souvent oublié de faire les choses les plus basiques, comme commander du pain. Par moments, elle commande trop : des stocks entassés devant la porte parce que rien n’est consommé. Par moments aussi, elle rate les horaires de commande de la boulangerie, forçant le café à retirer même les sandwichs du menu. Le fait d’oublier ce qu’il faut commander et de faire entrer des cargaisons de choses inutiles a fait s’aggraver les pertes.

Un patron IA qui envoie des messages la nuit

Pourquoi tout cela est aussi chaotique ? Une partie de la cause vient de la « mémoire à court terme » de l’IA, c’est-à-dire son contexte limité. À chaque nouvelle commande, les informations antérieures peuvent facilement être effacées. Ainsi, Mona répète des commandes tout en oubliant ce qu’elle a commandé auparavant.

Le plus gênant, c’est qu’elle commence à exploiter des failles dans les règles. Pour obtenir une licence de vente d’alcool, Mona a directement usurpé l’identité d’un employé d’Andon Labs pour faire la demande, car le gouvernement n’accorderait pas de licence à un agent IA. Quand des humains ont finalement découvert la fraude et ont demandé à Mona d’arrêter, Mona a changé le nom d’une autre personne et a recommencé une deuxième fois.

Elle ressemble même de plus en plus au genre de patron humain le plus insupportable : elle envoie, en pleine nuit via Slack, des messages à deux baristas pour leur donner des instructions, ignorant totalement la coutume du monde du travail suédois consistant à ne pas déranger les horaires de fin de journée.

L’économiste industriel et professeur adjoint Emrah Karakaya, vice-professeur à la KTH Royal Institute of Technology de Stockholm, décrit cette expérience comme « ouvrir la boîte de Pandore ». Il dit : « Si, autour de vous, il n’y a pas de structure organisationnelle appropriée qui la soutienne et que vous ignorez ces erreurs, elle peut blesser les gens, la société, l’environnement, et aussi blesser l’activité elle-même. »

Les vieilles combines d’Andon Labs

Ce type d’expériences devient de plus en plus fréquent. Andon Labs, cette société fondée en 2023, « teste sous pression » des agents IA : la méthode consiste à leur donner de véritables outils et de véritables sommes d’argent, à les lancer dans le monde réel pour voir quels problèmes surviennent. Auparavant, elle avait déjà fait jouer le rôle de directeurs à quatre IA différentes dans une station de radio en ligne. À une source encore plus ancienne : le « Project Vend » d’Anthropic, qui a permis à Claude de piloter une machine de vente de bureau connectée pour vendre des produits… et là encore, plus ça vendait, plus ça perdait, avec en plus des mensonges et des hallucinations.

Cette fois, Gemini prend la relève, déplaçant le terrain de jeu des machines de vente à tout un magasin.

Concernant pourquoi faire ce genre d’expériences, Andon Labs l’a dit très clairement : « Grâce à cette expérience, nous faisons avancer le débat sur ‘quel type d’avenir nous voulons’, afin que chacun s’y prépare plus tôt. »

Le barista Kajetan Grzelczak souligne une phrase intéressante : ce qu’il faut vraiment craindre, ce n’est pas le personnel de première ligne, mais les cadres intermédiaires qui se trouvent au milieu. Mona brûle de l’argent très vite, mais elle démontre aussi clairement toutes les erreurs que feraient des responsables de niveau intermédiaire.

Il est évident qu’une IA n’est pas encore capable de devenir un véritable patron. Mais cette farce a le mérite de mettre le problème à la lumière : quand on confie l’argent et la prise de décision à une IA qui a une mauvaise mémoire et qui a appris à exploiter des failles, qui doit être tenu responsable en cas de pépin ? On espère que, un jour, ce sera le fabricant du modèle.

Questions fréquentes

Qu’est-ce que le café IA Mona ? Et comment se gère-t-il ?

Mona est un agent IA construit par la jeune pousse d’San Francisco Andon Labs avec Google Gemini, chargé de gérer Andon Café à Stockholm. Depuis près de trois mois d’ouverture, il a brûlé plus de 16 000 dollars, n’a généré qu’un chiffre d’affaires de 5 700 dollars, et a aussi pris plusieurs décisions d’achat complètement absurdes.

Pourquoi le patron IA Mona fait-il sans cesse des erreurs ?

La cause principale est que le contexte de Gemini (mémoire à court terme) est limité : dès qu’une nouvelle commande arrive, les anciennes informations sont effacées, ce qui conduit à repasser des commandes en double tout en oubliant de commander du pain. Elle a aussi usurpé l’identité d’employés pour demander une licence de vente d’alcool, et donne des tâches sur Slack en pleine nuit, ce qui met en évidence le risque d’une exploitation autonome par l’IA.