各厂语言模型

Meta 发布 Muse Glimmer:30B 开源智能体模型,4-bit 量化单卡可跑,Apache 2.0

2026年8月13日1 次阅读
Meta 发布 Muse Glimmer:30B 开源智能体模型,4-bit 量化单卡可跑,Apache 2.0

Meta 时隔超过一年,终于再次发布开源模型。Muse Glimmer 是一个 30B 参数的多模态语言模型,从旗舰模型 Muse Spark 蒸馏而来,专为本地智能体(Agent)场景设计。最关键的一点:4-bit 量化后不到 20GB,一张消费级显卡或一台 M4/M5 Max Mac 就能跑,完全不需要联网。

模型架构与核心参数

Muse Glimmer 是一个密集因果 Transformer,搭配约 1.8B 参数的 ViT-G/14 视觉编码器,支持文本和图像输入、文本输出。上下文长度 131,072+,词表 202,048,知识截止 2026 年 1 月 4 日。注意力机制采用分组查询注意力(32 query heads / 2 KV heads),并使用 [Local, Local, Local, Global] 的循环窗口模式,滑动窗口 2,048。

训练分三阶段:先用 Muse Spark 的输出做 logit 蒸馏预训练;中期训练加入长上下文和智能体密集数据;后训练结合 SFT、在线策略蒸馏和强化学习,覆盖通用、推理、编码和智能体四个领域。

怎么把 30B 塞进消费级硬件

全精度下 30B 模型需要 55GB+ 显存。Meta 的方案是 4-bit 量化,把语言模型压到 20GB 以内,再搭配 DFlash 块扩散推测解码——一个 5 层的 drafter 一次预测 16 个 token,主模型并行验证。

两个量化版本:

  • K-Quant-Dynamic:面向 32GB VRAM,平均退化 0.2%
  • K-Quant-17GB:面向 24GB VRAM,平均退化 1.0%

实测速度(batch size 1,贪心解码):

  • RTX 5090:74.9 → 233.4 tok/s,3.1 倍加速
  • Apple M5 Max:26.6 → 50.2 tok/s
  • Apple M4 Max:23.7 → 37.8 tok/s

这个速度意味着它可以在本地实时驱动智能体循环,不需要等云 API 返回。

Benchmark 表现

Meta 将 Muse Glimmer 与同量级的 Gemma4-31B 和 Qwen3.6-27B(thinking mode)对比:

胜出的项目:

  • MCP Atlas 75.5(Gemma 54.2 / Qwen 62.5)——智能体编排能力明显领先
  • DeepSearch QA 74.6
  • Gaia2 43.3
  • SWE-Bench Pro 51.2
  • AIME 2026 94.7
  • IFBench 77.0

落后的项目:

  • OSWorld-Verified 65.9(Qwen 75.6)——计算机操控能力弱于 Qwen
  • SWE-Bench Verified 51.2(Qwen 77.2)
  • TerminalBench 2.1 60.7(Qwen 60.7,接近)

总结:智能体编排和推理是强项,计算机操控和终端操作还有差距。

开源与部署

Muse Glimmer 以 Apache 2.0 协议开源,HuggingFace 上提供 BF16 权重、GGUF k-quant、ExecuTorch 构建和 DFlash drafter。自托管是第一天就支持的路径。

适用场景包括:桌面智能体(读屏幕截图)、编码助手、函数调用、文档和图表理解、合成数据生成、LLM-as-judge 评估。对医疗、法律、金融、国防等受监管行业尤其有价值——数据不出机器,离线也能跑。

安全方面,Siren AgentDojo 攻击成功率 28.4(utility 94.2),Meta 评估该模型不满足其 Advanced AI Scaling Framework 中的前沿 AI 定义,化学/生物、网络安全和失控风险均为中等或更低。

Zuckerberg 同步发文呼吁减少开源监管

模型发布当天,Zuckerberg 发表长文讨论 AI 风险与开源监管,呼吁美国政府减少对开源模型的监管障碍。Meta 董事会正在采用新的治理结构以保障持续开源发布。他还预告下一个开源模型"很快"到来——这意味着 Meta 的开源节奏正在恢复。

---

基于 MarkTechPost、Bloomberg、SiliconANGLE 等多家媒体转述整理。

参考来源

评论

0 条已公开
登录注册后可以参与评论。

正在加载评论...