大语言模型

770B 总参、每个 token 只激活 49B:腾讯把 Hy4 旗舰权重放出来了,但许可证已经不是 Apache 2.0

2026年11月22日2 次阅读Read in English
770B 总参、每个 token 只激活 49B:腾讯把 Hy4 旗舰权重放出来了,但许可证已经不是 Apache 2.0

先讲结论:3分钟看懂

11 月 20 日,腾讯混元把旗舰模型 Hy4 的完整权重挂上了 Hugging Face、ModelScope 和 GitCode,一共三份:指令版 Hy4、8 位量化版 Hy4-FP8、预训练底座 Hy4-base,另外附了一份 82 页的系统卡。

三句话概括:

  • 这是「大而稀」的模型:语言主干 7700 亿参数,但每个 token 只激活 490 亿;再加 12.3 亿的视觉编码器和 33 亿的投机解码草稿模型。
  • 上下文 100 万 token,能读文字、图片和视频,也能操作命令行和图形界面。
  • 最该先看的不是跑分,是许可证:这次不是 8 月预览版的 Apache 2.0,而是腾讯自家的 Hy License,第 10.2 条给「转卖推理服务」的大公司设了一道门槛。

本文的核心事实来自官方模型卡、许可证原文和 Hugging Face 仓库接口实测;其余细节基于多家媒体转述整理,凡属媒体口径的地方都会标明。

这是什么:一个 770B 的多模态 MoE

按官方模型卡的规格表:

  • 语言主干 770B 总参,每 token 激活 49B,78 层——第 1 层是普通稠密前馈,后面 77 层都是 MoE(专家混合)。
  • 每个 MoE 层 256 个路由专家 + 1 个共享专家,一个 token 挑 8 个路由专家,加上那个共享专家一起算。隐藏维度 6144,词表 120,832。
  • 注意力用的是 Gated DeepSeek Sparse Attention + IndexCache,MLA 形式,64 个注意力头;索引器每层只挑 2048 个 token 参与计算,跨层复用稀疏索引。
  • 1,048,576 token 上下文,也就是常说的 1M。
  • 多模态:40 层 ViT,16×16 的 patch,动态分辨率,图像和视频帧经适配器变成视觉 token,和文字 token 一起进主干。
  • DFly2 草稿模型:5 层、3.3B,专门做投机解码。

DFly2 是这次比较值得单独说的一块。它直接复用主干的 Top-k 稀疏 KV 缓存和索引器挑出来的那 2048 个位置,所以每个草稿 token 最多只看约 2000 个 key,成本与上下文长度无关,也不额外占 KV 显存。官方给的推理命令里,它就是靠 --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' 打开的。

时间线要分清:这是第四件事,不是第一件

混元这条线在过去三周里发了四次消息,媒体经常把它们混成一个故事:

  1. 8 月 28 日:Hy4 preview 发布,那时候是 Apache 2.0。
  2. 11 月 4 日:Hy4 正式版作为付费服务上线,权重「承诺会给,但还没给」。
  3. 11 月 18–19 日:先放小一号的 Hy4 flash(220B 级、12B 激活)权重。
  4. 11 月 20 日:旗舰 Hy4 的完整权重才真正落到仓库里。

所以「腾讯开源了 Hy4」这句话,严格说 11 月 20 日这一次才成立。站内此前写过 11 月 4 日的正式版上线和 11 月 20 日的 flash 权重,都不是同一件事。

三份权重到底多大:接口实测,别信转述

我直接查了 Hugging Face 的仓库文件清单,把每个文件体积加起来:

  • Hy4(指令版):294 个文件,合计约 1.55 TB,仓库最后一次提交是 2026-11-20 03:05 UTC。
  • Hy4-FP8:294 个文件,合计约 786 GB。
  • Hy4-base(预训练底座):328 个文件,合计约 1.54 TB。

这里有个真实的「避坑」点:有媒体(包括一家专门报道开源权重的站点)写 FP8 版本约 924GB,并说社区里 786GB 和 924GB 两种说法在打架。实测就是 786GB 左右——770B 参数按 1 字节存,加上索引器和视觉塔的额外开销,正好落在这个量级。看到 924GB 的说法,可以判断它没有核过文件清单。

另一个坑更值得注意:TechNode 在 11 月 20 日的报道里写这次发布是「under the Apache 2.0 license」。这是错的,官方模型卡的 license 字段写的是 other,许可证名称是 tencent-hy-license。转载时照抄这一句,会把最关键的商业条款漏掉。

许可证第 10.2 条:这才是真正的门槛

我把 LICENSE 原文逐条读了,关键在第十节:

  • 10.2(a):如果你在经营 MaaS(把模型推理/微调能力远程提供给第三方)业务,并且任意连续 12 个月的全球总营收超过 5000 万美元——注意「不论这笔收入是否来自本模型或它的衍生作品」——就必须先拿到腾讯的单独书面授权。
  • 10.2(b):如果你的产品或服务单月活跃用户超过 1 亿,同样要先拿授权。
  • 10.3:纯内部使用豁免,前提是模型、衍生作品和它们的输出都不提供给第三方。
  • 授权联系邮箱是 [email protected]。

还有一句容易被忽略:条款对衍生作品同样生效——微调、量化、蒸馏、合并、剪枝出来的版本,都带着第 10.2 条走。

换句话说,「开放权重」和「开源」在这里是两件事:权重可以免费下载、免费改、免费自己跑,但拿去大规模转卖推理要先谈。对比 8 月预览版的 Apache 2.0,这是一次明确的收紧。对大厂云来说,这条款谈判成本可能比模型本身更难跨过;对中小团队和内部自用,它基本没有影响。

官方自己报的数字

能力侧,官方给了一张很大的基准表,这里只挑几个有代表性的:

  • 知识类:MMLU 91.6、MMLU-Pro 73.9、C-Eval 95.0、CMMLU 93.1,都略高于 DeepSeek-V4-Pro-Base(91.1 / 73.4 / 93.4 / 90.7)里的对应项。
  • 事实性:SimpleQA 57.2,明显高于 DeepSeek-V4-Pro-Base 的 52.1 和自家 flash 的 37.5。
  • 多模态:MMMU-Pro(10 选项标准设置)59.6、CVBench 86.7、TextVQA 78.2。
  • 金融场景:和腾讯金融科技一起做的评测,213 位金融从业者(其中 153 位来自头部机构,七成以上有 5 年以上经验)、579 个真实任务,Hy4 平均 3.04/4,排开源权重模型第一;DeepSeek-V4.1-Flash-1017 是 2.97,Kimi K3.1 Pro 和 GLM-5.3 都是 2.68。
  • 幻觉:官方说搜索链路针对性优化后,内部评测的幻觉率从 15.76% 降到 5.45%,推测性错误从 23.1% 降到 5.6%。
  • 对比自家预览版:游戏开发 +19.1%,游戏逻辑 +9.8%;金融 Agent 基准 IRAB 上高 12.03 个百分点。

这些数字有一个共同前提:全部来自腾讯自己的评测体系,没有第三方复现。而且官方模型卡自己就写了一句免责声明——底座模型在中期训练阶段见过大量合成指令数据,做 few-shot 评测时偶尔不按要求的格式答题,可能让分数失真。这句话很诚实,也说明那张预训练对比表要打折看。

官方同时承认的短板也很直接:在研究级数学、长程编码、模型自我改进、高级视觉问答这四类难题上,Hy4 和最强的闭源模型仍有明显差距。

怎么跑起来:8 卡起步,别指望单机

官方给了两条正式路径,都是容器镜像:

  • vLLM:vllm/vllm-openai:hy4,--tensor-parallel-size 8,--attention-backend FLASHMLA_SPARSE,加 --reasoning-parser hy_v4 --tool-call-parser hy_v4。
  • SGLang:lmsysorg/sglang:hy4,--tp 8,--speculative-algorithm DFLY。

两个参数值得记住:temperature=0.9、top_p=1.0 是官方推荐值;reasoning_effort 支持 no_think 和 high,默认是 high,也就是默认会走长思维链。如果你只是要它直接答,得显式传 no_think,否则延迟和 token 消耗都会比预期高。

仓库里还有一个 GGUF 版本(AngelSlim/Hy4-GGUF),但官方标注的用途是「端到端测试」,不是生产环境。

适用场景:什么人现在就该看它

  • 要自建 Agent、又不想按 token 付费的团队:770B 级多模态 + 1M 上下文 + 命令行/图形界面操作能力,一套权重解决「看得懂屏幕、读得完长文档、能自己动手」三件事。
  • 数据不能出门的场景:金融、医疗、政企内部文档,自托管意味着没有按量账单,也没有数据出域问题(在许可证 10.3 的内部使用范围内)。
  • 要做长文档比对、财报/研报分析的:1M 上下文配上稀疏注意力,KV 缓存压力比稠密注意力小得多。
  • 做游戏和前端工具链的:官方专门针对 Unreal、Unity、Godot 和 Blender、CAD 做过训练,这类垂直能力在通用榜单上看不出来。

不适用场景:什么人先别急

  • 只有单卡或消费级显卡的个人开发者:786GB 的 FP8 版本要 8 卡 TP 才跑得动,这不是「下载下来试一下」的模型。
  • 想直接转卖推理服务、且营收已过 5000 万美元的云厂商:先谈授权,别先上架。
  • 要 Apache 2.0 那种完全自由许可的:这次不是。如果你的合规流程只接受标准开源许可证,这个模型进不来。
  • 指望它打赢最强闭源模型的:官方自己列了四类明显落后项,别拿自报分数当独立结论。

避坑:四个容易踩的点

  1. 别把「开放权重」读成「开源」:权重可下载 ≠ 可无条件商用转卖,第 10.2 条是硬的。
  2. 别用媒体的体积数字:924GB 是错的,实测 786GB;1.55TB 指的是 BF16 指令版。
  3. 别照抄「Apache 2.0」:至少有一家主流科技媒体写错了,正确名称是 Tencent Hy License。
  4. 别忘了默认开思维链:不传 no_think 就跑,延迟会比你以为的高一截。

成本与时间:这笔账怎么算

官方没有公布 Hy4 的 API 单价(它 11 月 4 日就作为付费服务上线了,价格在自己的云平台上),所以自托管是唯一能看到成本的路径。粗算一下:786GB 的 FP8 权重,按 8 张 80GB 卡做张量并行,权重本身占掉约 786GB 显存,KV 缓存和激活值还要额外留量——这也是官方推荐 TP=8 的原因。它属于「租整机或机架」的量级,不是按小时点一张卡就能跑完的活。

对比参照:站内此前写过的 Hy4 flash(220B 级、12B 激活)是能压到更小规模部署的,两者不是替代关系,是同一家族的两个档位。

怎么用:第一步做什么

  1. 先读许可证第 10 节,确认你的业务形态落在 10.2 的哪一边;内部自用直接过。
  2. 再决定用哪份权重:要指令能力选 tencent/Hy4 或 tencent/Hy4-FP8,要做自己的后训练选 tencent/Hy4-base。
  3. 拉起服务:用官方镜像,--tensor-parallel-size 8,先不加投机解码跑通,再加 dfly 看吞吐提升。
  4. 压测你自己的任务:官方分数只能当参考,用你自己的长文档和 Agent 任务跑一遍,重点看长上下文下的首 token 延迟和工具调用成功率。
  5. 需要的话走授权:营收或月活过线的,发邮件到 [email protected] 谈,别先上线。

一句话总结

这是目前公开可下载的、参数规模最大的多模态 MoE 之一:770B 总参、49B 激活、1M 上下文、文本图像视频全吃。真正决定它能不能进你生产环境的,不是榜单分数,而是那 786GB 的显存门槛和第十节那两行商业条款。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...