OpenAI 审计 SWE-Bench Pro：34% 任务有缺陷，AI 编码评测标杆翻车了
OpenAI 审计 SWE-Bench Pro：34% 任务有缺陷，AI 编码评测标杆"翻车"了
如果你关注 AI 编程，大概率见过"SWE-Bench Pro 得分"这个指标——它被广泛用来衡量 AI 模型的真实软件开发能力。但 OpenAI 刚刚发布的一份深度审计报告揭示了一个尴尬的事实：这个标杆本身就有大问题。
评测标杆出了什么问题？
SWE-Bench Pro 是目前最主流的 AI 编码能力评测之一。它的设计思路很合理：从真实开源仓库的 PR 历史中提取任务，让模型实现新功能并确保不破坏已有代码。过去 8 个月，各家前沿模型在这个基准上的通过率从 23.3% 飙升到 80.3%，看起来进步惊人。
但 OpenAI 的审计发现，731 道公开题中约 34% 存在根本性缺陷，主要分四类：
测试过于严格。 很多测试是为验证某个特定 PR 而写的，强制要求特定的实现细节。如果你的代码功能完全正确但实现方式不同，照样被判失败。这就像考试只接受一种解法，其他正确答案全扣分。
提示不完整。 题目描述里没提到的要求，隐藏测试却要检查，而且这些要求从题目和代码上下文中根本推断不出来。相当于考卷上没写的考点，却暗中考了。
测试覆盖不足。 有些测试太松，不完整的修复也能通过。这和上一条刚好相反——该严的不严，该松的不松。
误导性提示。 最离谱的一类：题目描述引导模型往错误方向走，和测试实际期望的行为矛盾。
怎么查出来的？
OpenAI 用了三步流程来排查：
- 自动筛选管道先扫描所有题目的提示、测试和模型提交记录，标记出 286 道可能有问题的题。
- Codex 驱动的调查 Agent 对标记题目做深度审查——它能运行测试、检查仓库代码、分析常见失败模式，相当于一个不知疲倦的代码审计员。
- 5 位资深软件工程师独立审查每道标记题，形成最终判断。
结果：自动管道标记了 27.4% 的题有问题，人工标注标记了 34.1%。人工审查比 Agent 更严格，也更倾向于给一道题打上多个问题标签。
这意味着什么？
对看评测选模型的人： 过去 8 个月 SWE-Bench Pro 上的"进步"需要重新审视。80.3% 的通过率里，有多少是模型真的变强了，有多少是恰好撞上了有缺陷的题？我们不得而知。但可以确定的是，这个分数的含金量比想象中低。
对 AI 编程工具的用户： 评测基准的质量直接影响模型开发者的优化方向。如果基准本身有系统性偏差，模型可能被"训练"去迎合有缺陷的测试，而不是真正提升开发能力。
对整个行业： OpenAI 此前已经发现 SWE-Bench Verified 有类似问题，转而推荐 Pro 版。现在 Pro 版也被发现大面积缺陷，说明从开源 PR 历史自动生成评测题这条路本身就有结构性局限——PR 是为人与人之间的协作设计的，不是为机器评测设计的。
OpenAI 的结论
OpenAI 撤回了对 SWE-Bench Pro 的推荐，呼吁社区构建新的编码评测基准——由专业开发者从头设计，确保"难但公平"。同时，报告也指出一个有趣的发现：AI 模型本身正在成为发现评测缺陷的有力工具，用 Codex Agent 做审计的效率和深度远超传统人工检查。
这或许是一个良性循环的开始：更好的模型帮助发现更差的评测，更差的评测被淘汰后催生更好的评测，更好的评测又推动模型往正确方向进化。
---
*基于 OpenAI 官方博客文章整理，原文发布于 2026 年 7 月 8 日。*