Agent de génération de code d’IA évalué par ReactBench : GPT-5.6 Sol remporte la première place avec 43,1 %, les grands modèles dominants enchaînent les échecs sur les pièges à bugs

專門開發 React 相關工具的 Million 團隊近日正式推出「ReactBench v1」，這是首個針對 AI 程式碼生成代理（Coding Agents）在真實 React 開發任務上的基準測試。測試結果顯示，即便是表現最佳的 GPT-5.6 Sol, le taux de réussite ne s’élève qu’à 43,1 % ; l’ensemble des modèles évalués n’a pas réussi à franchir la barre des 50 %, ce qui souligne que l’IA n’est pas encore à un niveau suffisant pour remplacer parfaitement les développeurs humains.
（Contexte : OpenAI a démontré les capacités multitâches de GPT-Live : en discutant tout en consultant des vols, la météo et des cours boursiers, puis en confiant les problèmes à GPT-5.5）
（Informations complémentaires : rapport Visa : les paiements par agents IA entrent dans une phase pratique, et les stablecoins sont mieux adaptés aux paiements fréquents de petits montants）

Table des matières

Toggle

• Vérification stricte : non seulement ça doit fonctionner, mais aussi ne pas contenir de bugs
• GPT-5.6 l’emporte de justesse face à Claude, le taux de réussite global reste sous 50 %
• Le rapport coût-efficacité devient déterminant : l’assistance à la programmation par IA conserve encore des risques

À mesure que les capacités de l’intelligence artificielle (IA) à écrire du code se renforcent, la question de la manière de garantir la qualité des productions devient un sujet central pour la communauté mondiale des développeurs. Pour le framework frontend React, aujourd’hui le plus populaire, l’équipe open source Million, à l’origine de React Scan et Million.js, a récemment lancé officiellement « ReactBench v1 », un test de référence. Contrairement aux standards précédents qui se limitaient à exiger que l’IA passe des tests unitaires de base, ce test place l’IA dans un contexte réel de projet open source, en scrutant avec rigueur si le code généré répond aux exigences élevées du milieu de production.

Vérification stricte : non seulement ça doit fonctionner, mais aussi ne pas contenir de bugs

ReactBench v1 sélectionne 51 tâches provenant de projets open source réels (Pull Requests). Le test se concentre principalement sur deux compétences clés : « Write React » et « Fix React ». Afin d’éviter que l’IA ne génère un code qui semble fonctionner tout en dissimulant des risques, le test intègre un vérificateur « React Doctor » doté de plus de 400 règles de contrôle, spécifiquement conçu pour repérer les rendus invalides (Renders), les problèmes de performance, les lacunes en matière de conception pour l’accessibilité (Accessibility) ainsi que la maintenabilité, entre autres préoccupations potentielles. L’officiel souligne que l’agent IA doit non seulement accomplir les fonctionnalités, mais aussi ne jamais introduire de nouvelles erreurs de code.

GPT-5.6 l’emporte de justesse face à Claude, le taux de réussite global reste sous 50 %

D’après les résultats de taux de réussite moyen publiés (pass@1), les meilleurs modèles d’IA du marché ont encore une marge de progression considérable. Déployé par OpenAI, GPT-5.6 Sol (configuration Medium / XHigh) obtient la première place avec une note globale de 43,1 % ; juste derrière, Anthropic Claude Fable 5 (XHigh) affiche un score de 41,2 %. L’officiel indique que l’écart entre les deux est faible, et qu’il n’est pas encore possible de confirmer que Sol dispose d’un avantage absolu.

Il est à noter que même les modèles classés en tête ont tous un taux de réussite inférieur à 50 %. Les données montrent qu’au cours de 4 455 tests de développement de nouvelles fonctionnalités, chaque modèle a introduit au total jusqu’à 1 194 problèmes liés à React, dont 77,5 % relèvent d’erreurs de code graves (Bug) ou de problèmes de sécurité. Ce sont notamment la précision dans le rendu des listes et le respect correct des règles des Hooks qui causent le plus souvent des échecs.

Le rapport coût-efficacité devient déterminant : l’assistance à la programmation par IA conserve encore des risques

Bien que les meilleurs modèles affichent des performances solides, il y a aussi du positif sur le plan des coûts. Le rapport indique que GPT-5.6 Terra (Medium) obtient un score de 38,0 %, une performance très proche du niveau de pointe. En revanche, à configuration égale XHigh, le coût par test de Fable 5 est d’environ 6,3 fois celui de Sol. Cela montre qu’en particulier pour les entreprises qui doivent générer beaucoup de code, choisir un modèle intermédiaire pourrait offrir un excellent rapport coût-efficacité.

React occupe environ 70 % de parts de marché sur les sites utilisant des frameworks JavaScript. Les équipes de développement expliquent qu’en cas de confiance aveugle dans le code React généré par l’IA, les défauts mineurs peuvent être amplifiés dans l’environnement de production, voire provoquer des pannes du système, une baisse du taux de conversion et une perte de revenus. Le lancement de ReactBench vise précisément à assurer, pour les développeurs du monde entier, le contrôle nécessaire, afin que les futurs agents IA puissent réellement écrire du code de qualité, sûr, conforme et efficace.