ReactBench оценивает AI-агентов по генерации кода: GPT-5.6 Sol с 43,1% занимает первое место, ведущие LLM массово наступают на баговые мины

專门开发 React 相关工具的 Million 团队近日正式推出「ReactBench v1」,这是首个针对 AI 代码生成代理(Coding Agents)在真实 React 开发任务上的基准测试。测试结果显示,即便是表现最佳的 GPT-5.6 Sol,成功率也仅有 43,1%,所有受测模型皆无法突破五成大关,显示现有 AI 距离完美取代人类开发者仍有不小差距。
(前情提要:OpenAI 示范 GPT-Live 多任务能力:边聊天边查航班、天气、股价,难题丢给 GPT-5.5)
(背景补充:Visa 报告:AI 代理支付进入实用阶段,稳定币更适合高频小额支付)

本文目录

Toggle

  • 严格检验:不仅能跑,还不能有 Bug
  • GPT-5.6 险胜 Claude,整体成功率皆不到一半
  • 性价比成关键,AI 辅助开发仍具潜藏风险

随着人工智能(AI)编写代码的能力日益强大,如何确保其产出的品质成为全球开发界关注的焦点。针对目前最主流的前端框架 React,曾开发出 React Scan 与 Million.js 的知名开源团队 Million,近日正式推出了「ReactBench v1」基准测试。这项测试有别于过去仅要求 AI 通过基本单元测试的标准,而是将 AI 置于真实的开源项目情境中,严格检视其生成的代码是否符合生产环境的高要求。

严格检验:不仅能跑,还不能有 Bug

ReactBench v1 共筛选了 51 项来自真实开源项目的任务(Pull Requests)。测试主要分为「编写(Write React)」与「修复(Fix React)」两大核心能力。为了防止 AI 生成看似可行却暗藏危机的代码,该测试导入了拥有超过 400 条检查规则的「React Doctor」验证器,专门揪出无效渲染(Renders)、效能低落、无障碍设计(Accessibility)缺失以及可维护性等潜在问题。官方强调,AI 代理不仅要完成功能,更不能引入任何新的代码错误。

GPT-5.6 险胜 Claude,整体成功率皆不到一半

根据官方公布的平均通过率(pass@1)成绩,目前市场上的顶级 AI 模型表现仍有极大进步空间。由 OpenAI 推出的 GPT-5.6 Sol(Medium / XHigh 配置)以 43,1% 的综合得分拿下第一;紧追在后的是 Anthropic 的 Claude Fable 5(XHigh),得分为 41,2%。官方表示两者差距较小,暂时还无法确认 Sol 具有绝对优势。

值得注意的是,即便名列前茅,所有受测模型的成功率皆不到 50%。数据显示,在累计 4 455 次的新功能开发测试中,各模型总共引入了高达 1 194 个 React 相关问题,其中 77,5% 属于严重的程式错误(Bug)或安全性问题,尤其在列表渲染与 Hook 规则的正确性上最容易栽跟头。

性价比成关键,AI 辅助开发仍具潜藏风险

尽管顶级模型表现强人意,但在成本考量上则有亮点。报告指出,GPT-5.6 Terra(Medium)的得分达 38,0%,表现相当接近顶尖水准,但同为 XHigh 配置时,Fable 5 的单次测试成本却约为 Sol 的 6,3 倍。这显示出对于需要大量生成代码的企业而言,选择中阶模型可能具备极佳的性价比。

React 目前占据了约 70% 使用 JavaScript 框架网站的市场占有率。开发团队表示,若开发者盲目相信 AI 生成的 React 代码,微小的缺陷很容易在生产环境中被放大,甚至导致系统当机、转化率下降与营收损失。ReactBench 的推出,正是为了替全球开发者把关,确保未来的 AI 代理能真正写出安全、合规且高效的优质代码。

V1,30%
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено