⚙️ 只做「写答案」这一半：SambaNova SN50 挤进 Supermicro 机架，首单就要 1 万颗

Supermicro 的机架里，以后可以一半插英伟达 GPU，一半插 SambaNova 的 SN50。GPU 负责读题，SN50 负责写答案——第一批就要一万颗。

3分钟看懂

• 是什么：SambaNova 和 Supermicro 合作，把 SN50 推理芯片做进 Supermicro 的标准机架产品，初期计划 1 万颗。
• 为什么重要：AI 推理被拆成「读题」和「写答案」两段，GPU 干前者、SN50 专干后者。GPU 没有被替换，而是被重新定位。
• 别急着信什么：5 倍速度、3 倍降本都是厂商自测；1 万颗是计划，还没有具名客户和订单。

先把话说清楚：这次不是又一颗「挑战英伟达」的芯片

11 月 3 日，SambaNova 和 Supermicro 共同宣布了一项合作：Supermicro 会研发、销售并维护一类新的推理系统，机器里同时装英伟达 GPU 和 SambaNova 的 SN50 芯片。初期规划是 1 万颗 SN50。

关键差别在于，SN50 不是拿来替换 GPU 的。按两家的说法，一台机器里的活儿被拆成了两段：GPU 读你发过去的提示词，SN50 负责一个 token 一个 token 地把答案吐出来。

本文基于多家媒体转述整理：一手信息来自 SambaNova 官方新闻稿与官方博客，规格与实测数字另经 Unite.AI、CTOL Digital、Crypto Briefing 等媒体交叉核对。SambaNova 与 Supermicro 均未回应本站提问，文中所有性能数据均标注了口径来源。

这听上去像分工细节，但它其实回答了一个很现实的问题——为什么你的 AI 助手明明「想」得很快，回话却还是一顿一顿的。

推理其实是两件完全不同的事

大模型回答一次问题，要过两个阶段。

第一个阶段叫 prefill，把你说的话整段读进去、算出上下文。这一步是「算力密集」的，矩阵乘得越多越快，GPU 正好擅长。

第二个阶段叫 decode，一个词一个词往外蹦。每蹦一个词，都要把模型权重和缓存重新搬一遍内存——这一步卡的不是算力，是内存带宽。GPU 在这里其实很浪费：它有一大半计算单元在等数据。

而 Agent 类应用把这个矛盾放大了。一个 Agent 干一件活，可能要对模型发起上千次调用，每次调用还要跑好几分钟，绝大部分时间都耗在 decode 上。所以 decode 慢一点，Agent 的每一步就慢一点。

SambaNova 的算盘就是：既然 decode 是内存问题，那就专门造一颗为内存而生的芯片。

SN50 是什么

SN50 是 SambaNova 的第五代 RDU（Reconfigurable Dataflow Unit，可重构数据流单元）。它跟 GPU 的架构思路不一样：不是把一堆通用计算单元堆起来，而是把运算串成一条连续流动的流水线，减少数据来回搬运和每一步重新启动的开销。

已知的硬指标：

• 台积电 5nm 工艺
• 432MB 片上 SRAM（放最热的数据）
• 64GB HBM2E（放活跃的模型权重和 KV 缓存）
• 再往外一层是 DDR5，作为第三级内存
• 单个集群最多可扩到 256 颗 RDU，跨多个机架
• 一个 SambaRack 通常装 8~16 颗，整机架平均功耗约 20kW

20kW 这个数字值得单独看一眼。现在动辄上百千瓦的 AI 机架，在很多老旧机房里根本插不进去。SambaNova 主打的就是「不用新建机房，也能加推理容量」——这也是 Supermicro 愿意把它塞进自家 DCBBS（数据中心积木方案）货架的原因：客户买它，和买别的 AI 基础设施走同一条采购通道。

一万颗这个数字，到底是什么量级

按 8~16 颗一个机架算，1 万颗大概对应 625 到 1250 个机架——当然这只是按配置反推的粗略数字，不是官方公布的建设计划。

比数字更有信息量的是谁先拿到：两家说会先供 NeoCloud 和主权云，之后才轮到企业自建机房。这个顺序很合理——云厂商对每 token 成本最敏感，也最有能力自己调模型。

分工也很清楚：Supermicro 负责集成、验证、交付和售后（包括驻场服务），SambaNova 的工程师负责把模型在 SN50 上跑起来、调优，并配合客户上线。换句话说，Supermicro 出渠道和服务，SambaNova 出模型工程。

性能数字怎么看：好看，但要打折听

官方口径里最抓眼的是两个对比数字：相比英伟达 B200，SN50 最高 5 倍速度、最高 3 倍更低的总体拥有成本（TCO）。

实际测出来的吞吐大概是这样：

• SambaNova 自己公布的一组配置（4 张 H200 做 prefill + 16 颗 SN50 做 decode）：短提示下最高约 850 tokens/s，长提示下 450+ tokens/s
• SemiAnalysis 对一个 SN50 机架的测试：同一模型下约 800 tokens/s/用户，提高并发吞吐时约 400

这些数字的问题在于：它们都是厂商自己选定的配置，没有公开的 GPU 对照组，也没有客户实际付出的每 token 成本。5 倍和 3 倍 TCO 是 SambaNova 的自测结论，不是第三方复现。

所以更准确的说法是：SN50 在「decode 这一段」确实展示了可观的吞吐，但「买它比买 GPU 更划算」这件事，目前还没有独立账本。

真正值得记住的是这件事的走向

过去两年，大家习惯的叙事是「谁的芯片算力更强，谁就能替代英伟达」。SN50 走的不是这条路。

它承认了 GPU 在 prefill 上的优势，然后去抢 decode 这个位置。GPU 没有被替换，而是被重新定位成「前半段专用件」。这是推理基础设施开始按阶段分工的信号，而不是又一场单卡算力军备竞赛。

而且这条路已经不止一家在走：

• 英伟达自己在推 Groq 3 LPX 机架，专门接手 decode，配 Vera Rubin GPU 使用，官方宣称每兆瓦吞吐最高 35 倍（同样没有给基线）
• AWS 在 Bedrock 上用 Trainium 做 prefill、Cerebras CS-3 做 decode，走的是同一个思路

换句话说，「把 decode 单独拎出来」正在变成行业共识，SambaNova 抢到的是「第一个进 Supermicro 标准货架」的位置。

但别急着下结论：三个注意事项

有三个冷静点必须摆出来：

1. 1 万颗是计划，不是订单。 两家都没公布具名客户、采购金额和交付时间表。CTOL 的分析甚至直接押注：到 2027 年 6 月，双方都未必会公开一个带确定订单的客户。
2. 性能口径不统一。 5 倍、800 tokens/s 这些数字无法直接对比——有的按每用户算，有的按整机算，有的连基线都没给。
3. 对手就在同一个位置。 英伟达用 Groq 3 LPX 守这个坑，AWS 用自己的芯片组合守这个坑，SambaNova 要先证明的不只是「更快」，而是「更便宜的每 token」。

适合谁看，不适合谁看

• 适合你：正在规划 Agent / 长对话 / 代码助手这类推理服务，被机房的电力和面积卡住，想知道「不新建机房能不能加推理容量」。
• 不适合你：想找一颗能替代 GPU 做训练的通用卡，或者打算现在就去买一台——SN50 只做 decode，且真正的规模交付要等 2027 年。
• 也不适合：想拿这篇当采购依据。目前没有公开的每 token 成本，也没有第三方复测。

怎么用：先量三件事，再决定要不要跟进

真正该盯的后续信号很朴素：出现具名客户、出现复购、出现可对比的每 token 成本。这三个里出现两个，这件事才算从「发布会」变成「生意」。在此之前，把它当成「推理开始按阶段分工」的一个证据，而不是一张可以下单的报价单。

行动建议：如果你现在就想用上这类信息，可以这么做：

1. 先把自家推理负载的 prefill / decode 时间占比量出来，decode 占比越高，这类专用卡越有意义。
2. 拿现有 GPU 机架的 每百万 token 成本当基准，等 SN50 的真实报价出来再对比，不要拿厂商的 3× TCO 直接套。
3. 通过 Supermicro 渠道问清 可用时间和最小采购量，同时盯 SambaNova 是否加入 InferenceX 这类公开基准。

一句话总结

SN50 不是来取代 GPU 的，它是来承认「GPU 干不好写答案这件事」的。Supermicro 愿意把它摆上货架、还计划先要一万颗，说明这个分工至少已经有人愿意下注。但这笔账最终要看客户的钱包，而不是发布会的 PPT。

参考来源