当前分子 AI 模型理解分子的方式，和化学研究者的工作习惯之间存在一个尴尬的断层：AI 读的是 SMILES 字符串，人看的是分子结构图。人民大学团队提出的 MolSight，试图通过把分子图的拓扑信息直接注入视觉语言模型，让 AI 从图像层面"看懂"分子结构，在四类化学视觉理解任务上全面超越现有方法。

分子 AI 为什么"看不懂图"

过去几年，分子大语言模型（如 MolT5、BioT5、ChemLLM）取得了不少进展，但它们理解分子的方式几乎都依赖 SMILES——一种用字符串编码分子图结构的表示方法。问题在于，SMILES 虽然包含了分子图的连接关系，但 LLM 把它当线性文本处理时，拓扑信息会明显丢失。研究者日常接触的分子结构图，AI 反而无法直接理解。

视觉语言模型（VLM）看起来是自然解决方案——它可以直接看图。但实验表明，现有 VLM 在分子理解上严重不足：在生物活性预测任务中，图像输入的性能远低于 SMILES 输入；在图像转 SMILES 任务中，通用 VLM 的准确率接近零。即使经过化学图像微调的多模态模型，其结构识别能力仍然显著落后于专用工具（如 MolScribe、DECIMER）。

根本原因在于：通用视觉编码器学到的是颜色、纹理、空间布局等模式，这些对分子图没什么用——分子图稀疏、精细，核心信息是原子和化学键的连接关系，而不是视觉纹理。更关键的是，视觉 token 保留的是图像空间的局部关系，而非分子图中的邻接关系，模型缺乏图结构的显式约束。

MolSight 的解法：图感知 + 语义对齐

MolSight 的核心思路是在视觉编码器和 LLM 解码器之间插入一个"图拓扑适配层"，由两个互补模块组成：

分子拓扑模块（Molecular Topology Module, MTM）：通过可学习的边预测器，将分子图的拓扑结构注入视觉 token。简单来说，让模型不仅知道"图上这个位置有个东西"，还知道"这个原子和那个原子之间有化学键连接"。这是现有分子 VLM 普遍缺失的能力。

分子接地模块（Molecular Grounding Module, MGM）：通过交叉注意力机制，将视觉 token 与 SVG 文本标注对齐。MolSight 同时输入分子图像和其对应的 SVG 文本——SVG 天然包含了元素和连接信息，充当显式的结构注释。MGM 让模型学会把视觉特征和化学符号语义对应起来。

两个模块协同工作：MTM 注入拓扑连接，MGM 对齐符号语义，共同将图结构信息引入视觉表征。MolSight 基于通用 VLM 骨干网络，不需要从头训练——图感知能力是"加装"上去的。

实验结果：四类任务全面领先

研究团队在四类化学视觉理解任务上评估了 MolSight：

• 图像转 SMILES：从分子结构图还原出 SMILES 字符串
• 分子描述生成：给定分子图，生成自然语言描述
• 描述符估计：从图中推断分子的物理化学描述符
• 生物活性预测：根据分子图预测其生物活性

在所有四类任务上，MolSight 的表现都显著超越了现有的通用 VLM、分子专用 VLM，以及传统的专用化学图像识别工具（如 MolScribe）。论文特别指出，此前通用 VLM 在图像转 SMILES 任务上几乎无法工作，而 MolSight 在这个任务上达到了实用水平。

这意味着，MolSight 首次让基于图像输入的分子理解达到了和基于 SMILES 输入可比的水准，在某些任务上甚至超越了 SMILES 路线。

这对谁有用

药物发现研究者：论文和专利中的分子结构图是最常见的信息载体。过去要提取这些信息，需要先用专用工具（如 MolScribe）做光学化学结构识别（OCSR），再喂给分子模型。MolSight 将识别和推理统一在一个多模态框架内，减少了管线断裂。

化学教育：学生拍照上传分子结构图，AI 可以直接解读，不再需要先转换成 SMILES。

分子设计：从图像到功能的多模态推理链路打通后，"看图说话"式的分子分析成为可能——给模型一张分子图，它就能推断性质、建议优化方向。

局限与展望

MolSight 当前仍基于通用 VLM 骨干网络增强，性能上限受基座模型能力约束。论文中使用了 SVG 文本作为辅助输入，实际部署时如何自动获取 SVG 标注是一个需要解决的问题。此外，代码和模型的开源状态尚待确认。

从更广的视角看，MolSight 代表了一个重要方向：让 AI 理解科学图像时不只是"看图"，而是理解图背后的结构语义。这种图感知增强思路，未来可能延伸到蛋白质结构图、基因组可视化、材料微观结构等其他科学图像理解场景。

---

*基于 arXiv 预印本 arXiv:2607.01982 整理，论文由中国人民大学团队于 2026 年 7 月 2 日提交。*

参考来源

• https://arxiv.org/abs/2607.01982

说明：该页面由基础模板稳定生成，后续可继续局部润色样式或补充模块，再进入发布检查。