生物模型

100 道真实实验题，最强模型只拿 66.7%：OpenAI 把「湿实验判读」做成了一场考试

2026年11月9日1 次阅读
100 道真实实验题，最强模型只拿 66.7%：OpenAI 把「湿实验判读」做成了一场考试

导语

11 月 6 日，OpenAI 发布了一个叫 BioBasicsBench 的评测基准：100 道题，全部来自真实实验室的原始数据——凝胶图、菌落平板、显微 Z 栈、测序读段、酶标仪导出、甚至实验台上拍的照片。它不问模型「什么是 PCR」，只问：这块胶上哪几个菌落是对的？这个对照板能不能用？这批数据够不够下结论？

最高档推理设置下，GPT-6 Astra 拿到 66.7%。这个分数听起来不低，但发布稿里最值得看的是失败案例：在一道菌落 PCR 题上，Astra 把条带分对了组，然后按「PCR 产物更大 = 克隆成功」的直觉选了 4、6、7、8 号菌落——标准答案是 5、9、10。选错意味着它会让实验员去纯化一支还带着原始质粒的菌。

（本文基于多家媒体转述整理，数字与细节以 OpenAI 11 月 6 日官方发布、R&D World 的逐题复盘、Unite.AI 的技术梳理为准。）

先把三件最容易误读的事说在前面：这不是一个新的生物模型，被测的是通用大模型；只测了 OpenAI 自己的 7 个模型，没有 Claude、Gemini 或任何开源模型；66.7% 不等于「AI 能做实验」，OpenAI 自己在发布里写了「更高的基准分数还不等于模型能在实验室里做出可靠判断」。

3分钟看懂

  • 是什么：BioBasicsBench，一个 100 题的湿实验判读基准。合作方是酶设计公司 Ligo Biosciences。
  • 题目从哪来：Ligo 的科学家把自己真实做过的实验（包括做失败的、图拍糊的）改写成题目，每题配一份详细评分标准。
  • 题目长什么样：输入可以是凝胶与免疫印迹图、菌落平板照片、显微图像栈、测序读段、酶标仪导出表、实验台照片、操作视频，还会附带梯标图、质粒图谱这类参考材料。有的题要把好几种证据串起来看。
  • 怎么打分：模型要给出结构化结论、测量值或操作建议；评分标准按「数字对不对」「推理站不站得住」「有没有主动说证据不足」分别给分。最后算的是平均得分率。
  • 题目质量怎么保证：每题三道审——另一位没参与出题的 Ligo 科学家、一位外部 PhD 级湿实验科学家、最后一轮内部终审（连题面、证据、评分标准、出题人备注和一次模型作答一起看）。
  • 测了多少：7 个 OpenAI 模型 × 多个推理档位 = 37 组「模型 + 设置」组合，每题跑 5 次，一共 18,500 条评分结果。
  • 最好成绩：最高档 xhigh 下，GPT-6 Astra 66.7%（95% 置信区间 60.3–73.1），GPT-6.1 Sol 62.0%，GPT-5.6 Sol 43.8%，GPT-5.5 35.4%，GPT-5.2 31.2%。
  • 效率也变了：Astra 每题平均输出 4,704 个 token，GPT-5.6 Sol 是 9,099 个。也就是分数高的那个，token 花得只有一半。
  • 最该记住的一句：它测的不是「模型懂不懂生物学」，而是「模型能不能把眼前的证据一路带到正确结论」——而这条路，现在还在半途。

为什么「看图答题」比想象中难

在这之前，生物领域的 AI 评测大多建在论文里的图上。论文图是被挑过的：对照组漂亮、条带清晰、该出现的现象都出现了。可真实实验室里最常遇到的是另一套东西——跑歪的胶、长满杂菌的板、对焦没对准的显微图、两组数据互相矛盾。

BioBasicsBench 想卡的就是这一段。它的题目不要求模型背知识，而是要求四件事同时做到：读数准（把条带位置、菌落数、荧光强度读对）、看穿实验设计错误（对照加错了、标签写错了、检测通道重叠了）、把证据串起来（图 A 和图 B 是不是同一件事）、以及在证据不足时闭嘴。

最后那条最反直觉。通用助手被训练成「尽量给答案」，而实验判读的正确动作经常是「这批数据不能支持任何结论，重做」。评分标准里专门为「明确说出证据不足」留了分。

这也是为什么 66.7% 这个数不好直接类比成考试成绩：分母里有一部分题，是「什么都不做、直接说做不了」才拿分的。

失败案例比成功案例更有信息量

OpenAI 在发布里主动放了几道做错的题，这部分是整篇里最值得读的。

错误一：把「产物更大」当成「克隆成功」

菌落 PCR 那道题。Astra 先把各个泳道的条带正确分成了两组——观察层面没错。然后它套了一个常见直觉：PCR 产物更大，说明目的片段插进去了。于是它选了 4、6、7、8 号；参考解读是 5、9、10 号，那几道的条带才和「新产物」那一列对上。按它的建议往下走，下一步就是去养错菌、纯化错质粒。

这个错误类型很典型：观察对了，判断错了。它不是看不懂胶，而是把一条不成立的因果链当成了默认规则。

错误二：菌落数多了 12%

一道计数题上，Astra 没能把挨在一起的菌落分开、漏掉了明显的菌落、又把空琼脂标成了菌落，最终比参考值多算了约 12%。在平板计数里这不是小误差——上样体积和稀释倍数固定时，计数偏高 12% 会让「DNA 导入效率」这个指标同步虚高 12%，直接污染后续所有比较。

错误三：把一张「知识」当成了「观察」

有一道题里，Astra 给出了「液泡通常比周围细胞质更暗」的普遍结论，但那张图里恰好有更亮的液泡。它自己的中间步骤甚至写了「对比度会随焦平面变化」——它看见了，但没让这个观察进入最终结论。

做对的那道，恰好相反

另一道克隆题里，GPT-5.6 Sol 看到阴性对照板上一个菌落都没长，就认定对照成立。Astra 注意到板子边缘手写的「LB Kan50」——那批实验用的是氨苄青霉素，不是卡那霉素。这块板加了错误的抗生素，本来就不该长菌，所以它作为阴性对照无效。Astra 拒绝了这块板，然后重新读主实验的泳道。

OpenAI 把这类进步归因于原生多模态能力变强：能读手写标签、能分辨检测通道、能认出显微图是一组不同深度的 Z 栈而不是「细胞消失了」。

分数表要怎么看

把人话版本摊开：

  • GPT-6 Astra（xhigh）：66.7%，置信区间 60.3–73.1，每题约 4,704 token
  • GPT-6.1 Sol：62.0%
  • GPT-5.6 Sol（xhigh）：43.8%，置信区间 37.6–50.0，每题约 9,099 token
  • GPT-5.5：35.4%
  • GPT-5.2：31.2%

两点要注意。第一，置信区间宽。100 道题的样本量摆在那，60.3 到 73.1 这个区间意味着「Astra 比 Sol 强」这件事成立，但「Astra 大概在 67 分」这个精度不成立。第二，跨代差的跳跃集中在多模态那一段：GPT-5 系列到 GPT-6 系列涨了 20 个百分点上下，而同一代内部不同档位之间的差距要小得多。这跟「模型更会看原始图像」的解释是一致的。

OpenAI 原话：「更高的基准分数还不等于模型能在实验室里做出可靠判断。」这句不是客套——上面那三道错题就是它自己的注脚。

怎么用：把它当成选型工具，不是能力证明

  1. 如果你在给实验室挑模型：先看你要它做哪一类活。这批题覆盖蛋白方法、成像与流式、定量与测定、核酸方法与分子克隆五大块。你的日常如果 80% 是分子克隆，那就重点看克隆相关题的表现，而不是总分。
  2. 如果你在做 Agent 产品：注意它的失败模式——「观察对、结论错」。这类错误靠加提示词约束「结论必须引用具体观察项」能压下去一部分，靠换更强的模型也能压一部分，但两者不能互相替代。
  3. 如果你要搭自己的评测：这套题的结构可以直接照搬——真实原始数据 + 详细评分标准 + 三审 + 每题多次采样。最贵的不是模型调用费，是让 PhD 级实验科学家写评分标准的时间。
  4. 如果你只想判断「能不能让它替我读板」：现在不行。菌落计数多 12%、选错菌落这两类错误，落到真实项目里就是一周的培养和白做。
  5. 正确的使用姿势：人机配合。让模型做第一遍读数与异常提示，让实验员做最终判定。R&D World 引的 Benchling AI 负责人那句话说得直白：「LLM 配上合适的工具链和人在环里，是能在湿实验里干活的。」

适用场景

  • 模型选型：同一个实验室在 GPT-5 与 GPT-6 之间做预算决策时，这类任务级评测比通用榜单有用得多。
  • Agent 产品的能力边界声明：要给客户写「本产品能做什么、不能做什么」，这里的失败案例可以直接引用。
  • 自建评测的模板：出题流程、评分维度、三审机制都可以照抄，换成自己实验室的数据。
  • 实验记录的二次核查：把历史凝胶图、平板照片丢给模型做异常提示（对照缺失、条带异常），人再复核。
  • 新人培训的反例库：那些「看着像对其实错」的判读，本身就是很好的教学素材。

不适用场景

  • 当成「AI 会做实验」的证据：题目是判读，不是动手；不涉及移液、时序、无菌操作。
  • 当成跨厂商横评：只测了 OpenAI 自家 7 个模型，没有任何第三方模型参评，不能推出「Astra 强于 Claude/Gemini」。
  • 当成生物模型进展：这里没有新的蛋白模型、没有新权重、没有新结构预测能力。它是评测，不是模型。
  • 当成可直接下载的数据集：目前公开渠道没看到完整题目与评测脚本的独立托管地址（GitHub 检索为 0 结果），发布稿说的是公开任务描述、评测方法与基线结果。
  • 外推到临床或法规场景：100 道题、单一数据来源，离监管可接受的验证强度差得远。

避坑

  • 别写「OpenAI 发布生物模型」。BioBasicsBench 是评测基准，被测的是通用模型。
  • 别把 66.7% 写成「准确率」或「成功率」。它是「平均得分率」，评分标准里包含推理质量与不确定性表达，不是对错二值。
  • 别忽略样本量。100 题、每题 5 次，置信区间上下浮动六七个点，排名靠前的几档差距可能被区间吃掉。
  • 别把 66.7% 和 43.8% 的对比当成「一代更比一代强 23 个点」的通用结论。这是同一家公司在同一个基准上的代际差，换个任务集不一定复现。
  • 注意 token 数的读法。Astra 每题 4,704 token、Sol 9,099 token，说明分数提升不是靠「想更久」。反过来，如果只比分数不比成本，会误判部署代价。
  • 别把「题目来自真实实验」写成「数据已经公开」。两者不是一回事。

成本 / 时间

  • 看结论的时间：官方发布一篇 + R&D World 的逐题复盘一篇，两篇读完约 15 分钟，够判断要不要跟进。
  • 复现成本：目前拿不到完整题目与评分脚本，所以「自己在本地跑一遍」这件事暂时做不到，只能引用公开分数。
  • 自建同类评测的成本结构：真正的开销是「把真实实验改写成题 + 写评分标准 + 三审」。按 100 题、每题三审算，是几百个专家小时的量级；模型调用费反而是零头（18,500 条结果，按当前价格算是几十到几百美元）。
  • 部署建议：如果只想用它做选型参考，读分数就够；如果要把这套方法搬进自己的实验室，先做 10 题的迷你版验证流程，再扩到 100 题。

行动建议

  1. 先看失败案例那一节，再回来看分数。理解「观察对、结论错」这个模式，比记住 66.7% 有用。
  2. 核对你关心的任务类型。分子克隆、成像、蛋白方法三块的难度不一样，总分掩盖了这一点。
  3. 如果你在实验室推 AI 工具：把「AI 读数 + 人工复核」当成默认流程写进 SOP，别让任何一步自动放行。
  4. 如果你在做评测：抄它的三审机制，但把题目换成你自己实验室的历史数据——那才是真正能预测「在你这里好不好用」的测试集。
  5. 盯后续：OpenAI 说这些结果会进入它的生物安全评估。如果它后面放出完整题目集或引入第三方模型横评，这个基准的价值会明显上升；如果一直只有自家模型的分数，它更像一份产品材料。

参考来源

（本文基于多家媒体转述整理。）

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...