InsightXivRESEARCH

State of AI Report · 报告

State of AI Report 2026:研究进展与任务完成率

Progress on a task is different from finishing it

阅读完整原文 ↗

报告指出前沿基准趋近饱和且部分得分高于完整完成率。AI加速研发但科研判断力仍滞后,开源模型研究引用格局变化,评估体系需革新以反映真实能力与局限。

INSIGHTXIV · INSIGHTS

核心 Insight

文章中的关键判断

01

基准趋顶与部分得分差异

报告分析称数学等基准数月内趋顶,Epoch AI发现多数基准存缺陷。在97个科学工作流中GPT-5.6 Sol单项得分87.9但完整完成率仅20.6%,表明部分得分显著高于任务全完成度。

02

AI研发提速但判断力不足

Anthropic声明Claude承担26%研发工作,但影子评估显示Opus 4.8独立完成工程后论文获低分,因缺乏创新及发表价值判断。表明AI工程执行进步快于科研决策,自主研究能力尚待验证。

03

开源模型改变研究引用格局

Zeta Alpha数据显示2024至2026年中国开源模型在arXiv提及量大幅上升,Qwen超越Llama。美国闭源模型仍占42%提及量,论文引用反映研究者选择而非商业收入或通用能力排名。

作者与机构

  • Nathan BenaichAir Street Capital · 报告页面作者

    Air Street Capital成员,State of AI Report 2026研究进展与任务完成率页面作者

中文摘录

来源核对:2026-10-13
Nathan Benaich短句译摘

部分基准测试分数可能大幅超过完整任务成功率。

页面讨论了 97 个科学工作流中的 87.9/100 分项得分与 20.6% 完成率。该结果不能外推到所有企业任务。