小米开源 MiDashengLM-Spatial：给音频大模型装上"一双耳朵"，不光听懂声音还知道声音在哪

> 先讲结论：小米技术团队在 10 月 15 日发布并开源了一个新的声音理解大模型 MiDashengLM-Spatial。它和常见的语音模型不太一样——不光能"听懂"声音是什么，还能判断声音"从哪儿来、在空间里怎么分布"。模型权重和推理代码全部公开，采用 Apache 2.0 许可证，可免费用于商业集成或学术研究。对智能家居、汽车座舱、机器人听觉、空间音频这类场景，这是一次值得关注的升级。本文基于小米官方发布信息并经多家媒体转述整理。

这是什么？

一句话概括：它让音频（语音）大模型长出了"一双耳朵"。

过去两年，小米先后开源了声音基座模型 Xiaomi Dasheng 和声音理解大模型 MiDashengLM-7B，能把语音、环境声、音乐做统一感知。但这类声音理解模型有个共同短板：大多只吃"单声道"音频，等于把左右两只耳朵听到的差异信息整个丢掉，于是分不清声音来自左边还是右边、是近还是远。

MiDashengLM-Spatial 就是来补这块的。它以一个 7B 参数的声音理解模型 MiDashengLM 为基座，接上一个新的空间音频编码器 Spatial-Dasheng，再用一个叫层次化语义到空间调制（HSSC）的模块把两条支路缝起来：

• 语义支路：继续负责"这是什么声音"——是人在说话、还是狗叫、还是音乐
• 空间支路：负责"声音在哪"——逐帧检测并定位，即使是好几个声音叠在一起也能分辨各自的方向

这样，同一个模型就能既做通用的音频（语音）理解，又具备空间感知能力。官方称这是业界首个开源的、端到端的统一音频语言模型，在单一架构里同时支持通用音频理解和空间感知。

为什么重要？

对普通人来说，这关系到下一代"会听"的设备到底有多聪明。

举个日常场景：客厅里同时开着电视、有人在左后方说话、厨房还有水壶在响。一个只会"听内容"的模型能告诉你"有人说话、有水声"，但不知道各自在哪；而带空间感知的模型能进一步说清"说话的人在左后方，水声来自厨房方向"。这正是智能家居、汽车座舱里很多交互能否成立的关键。

所以它主要对这几种人有用：

• 智能家居 / 汽车座舱团队：需要知道"谁在哪个方位说话"，才能做定向收音、噪声抑制、声随人动
• 机器人与具身智能：机器人要给"听觉"留出算力，同时用声音辅助空间定位和避障
• AR/VR 与空间音频：需要理解真实空间的声场结构，才能把虚拟声音摆对位置
• 会议转录、安防与声源定位：多人对话里分辨谁在说、声音从哪里来

它是怎么做到的？

关键在三件事：

1. 双耳感知：模型吃的是双声道（左右耳）音频，保留了两耳之间的时间差和强度差，这是判断方位的物理基础
2. 空间编码器 + 语义到空间调制：Spatial-Dasheng 负责逐帧检测和定位重叠的声事件；HSSC 模块把语义支路不同深度的中间表示，"分层"注入到空间支路对应层，让空间建模能借用语义上下文，同时又不破坏原来那条通用理解通路
3. 大规模合成训练数据：团队搭了一条数据合成流水线，渲染出 100 万个空间声学场景（约 13,000 小时），涵盖环境声、语音和音乐，并配上场景级的空间描述和 600 万条经过事实校验的问答对

一句话：既用真实双耳信号，也用大规模合成场景，把"空间感"训练出来。

数据速览

| 维度 | 说明 |

| --- | --- |

| 基座 | MiDashengLM-7B（声音理解大模型） |

| 新增能力 | 端到端空间音频理解（双耳感知、声源定位） |

| 关键模块 | Spatial-Dasheng 编码器 + HSSC（层次化语义到空间调制） |

| 输入 | 真实双耳 (2, T) 音频；单声道可跑但不含方向信息 |

| 训练数据 | 约 100 万空间场景 / 约 13,000 小时 + 600 万 QA 对 |

| 空间基准 | 在空间理解与推理基准上优于现有音频语言模型 |

| 通用基准 | 在多种单声道基准上与 8B 级 SOTA 模型保持竞争力 |

| 许可证 | Apache 2.0（权重与推理代码全开源） |

| 落地场景 | 小米智能家居、汽车座舱等"人车家全生态" |

官方强调一点：它没有为了空间能力牺牲通用理解——空间能力是"加上去的"，而不是"换来的"。

怎么用？门槛在哪？

三条路，按动手成本从低到高：

1. 先看效果：官方项目主页有双耳音频演示，建议戴耳机听，能直观感受到"方向"信息
2. 读技术细节：技术报告发布在 arXiv（编号 2610.11156），讲清了架构、训练数据合成和实验设置
3. 自己跑：GitHub 仓库（xiaomi-research/midashenglm-spatial）提供评估与推理代码，权重在 Hugging Face（mispeech/midashenglm-spatial）和 ModelScope 均可下载。用 transformers 加载，需要 torch、torchaudio、einops 等依赖

有两个使用要点值得提前知道：

• 音频要放在文本前面（这是训练时的顺序）
• 一定要喂真实双耳 (2, T) 音频；单声道虽然也能跑，但等于没有方向信息，空间能力发挥不出来

不适用场景与避坑

• 需要双耳音频：如果你手上只有单声道素材，这个模型的空间优势基本用不上
• 算力有门槛：基座是 7B 规模的模型，本地部署对显存/算力有要求，不是随手就能跑
• 空间能力主要靠合成场景训练：官方也强调了对真实场景的泛化，但真实世界的复杂混响、强噪声环境效果，仍建议自行实测
• 基准是自建口径：官方给出的空间/通用基准对比，来自其自建评测套件，选型时应结合自己的任务复测，不要只看单一数字
• 这是理解模型而非生成模型：它的职责是"听懂 + 定位"，不负责把文字合成语音（TTS）

下一步

• 想快速感受：打开官方项目页看双耳演示，戴耳机
• 想评估复现：从 GitHub 仓库拉代码、HF 拉权重，按官方示例先跑通一条音频
• 想了解原理：读 arXiv 技术报告，重点看 Spatial-Dasheng 和 HSSC 两个模块
• 想落地：结合你的设备形态（智能家居/座舱/机器人）评估双耳采集链路和端侧算力

参考来源

• [凤凰网（IT之家）：小米开源空间音频理解大模型 MiDashengLM-Spatial](https://tech.ifeng.com/c/8xGRsPIx0OC)
• [腾讯新闻（北京商报）：小米开源空间音频理解大模型 MiDashengLM-Spatial](https://news.qq.com/rain/a/20261015A0DWM200)
• [Pandaily：Xiaomi Open-Sources MiDashengLM-Spatial](https://pandaily.com/xiaomi-midashenglm-spatial-open-source-spatial-audio-understanding-model-apache-2)
• [官方项目主页（含双耳演示）](https://jinbo-hu.github.io/midashenglm-spatial-demo/)
• [Hugging Face 权重页 mispeech/midashenglm-spatial](https://huggingface.co/mispeech/midashenglm-spatial)
• [技术报告 arXiv:2610.11156](https://arxiv.org/abs/2610.11156)
• [GitHub: xiaomi-research/midashenglm-spatial](https://github.com/xiaomi-research/midashenglm-spatial)

参考来源

• https://tech.ifeng.com/c/8xGRsPIx0OC
• https://jinbo-hu.github.io/midashenglm-spatial-demo/
• https://huggingface.co/mispeech/midashenglm-spatial
• https://arxiv.org/abs/2610.11156
• https://github.com/xiaomi-research/midashenglm-spatial