IBM联手Together AI投2.4亿美元，在IBM Cloud部署首批HGX B300专用推理集群
8月11日，IBM与Together AI宣布签署一项多年期、总价值2.4亿美元的合作协议，将在IBM Cloud上部署基于NVIDIA HGX B300系统的大规模AI推理集群。这是IBM Cloud上首个以HGX B300为核心的专用推理集群，搭配NVIDIA Spectrum-X以太网组网，预计2027年第一季度上线。
推理不再是训练的"附属品"
这件事的核心信号不是"又有人买了NVIDIA的卡"，而是推理基础设施正在成为一条独立赛道。
过去两年，AI基础设施投资几乎全部围绕训练——更大的集群、更多的GPU、更长的训练跑。但随着开源模型能力逼近闭源前沿，企业对"用模型"的需求远超"训模型"。Together AI目前每月服务400万亿token，这个数字本身就是推理需求规模的证明。
这次部署明确指向推理场景，而非训练。HGX B300是NVIDIA Blackwell Ultra世代的服务器平台，此前主要被用于训练集群。把它专门拿来跑推理，说明行业已经认识到：推理的硬件配置、网络拓扑、调度策略和训练完全不同，需要独立优化。
HGX B300 + Spectrum-X：推理专用架构
集群的硬件组合值得拆开看：
- HGX B300：Blackwell Ultra世代GPU服务器平台，NVIDIA宣称相比前代AI工厂产出提升30倍。这个数字是官方基准，实际推理吞吐取决于模型架构、量化精度、批大小和serving配置，不能直接拿来当承诺。
- Spectrum-X以太网：NVIDIA专为AI工作负载设计的以太网方案，低延迟、无损传输，对推理场景的token生成延迟和集群扩展效率至关重要。
两者组合的意图很明确：不只是堆算力，而是让算力在推理场景下真正跑得快、跑得稳。
Together AI：开源推理的商业化样本
Together AI是这波"开源模型推理"浪潮中最激进的玩家之一。今年刚完成8亿美元C轮融资，估值83亿美元，平台覆盖推理、训练、微调和Agent工作流。
CEO Vipul Ved Prakash的说法很直白："企业想要前沿模型的性能，但不想付闭源模型的价格。"开源模型推理的商业逻辑就是：用更便宜的硬件跑同等能力的开源模型，把省下来的钱变成利润或让利给客户。
这个2.4亿美元的集群，本质上是Together AI在赌：开源模型推理的需求会持续爆发，值得提前锁定下一代硬件产能。
IBM的"新云"野心
对IBM来说，这笔交易是它进入AI原生云竞争的又一步。去年IBM已通过CoreWeave在IBM Cloud上部署了Grace Blackwell算力，这次直接与Together AI合作，说明IBM不想只做传统企业云，而是要和CoreWeave、Lambda、Volcano Engine等"新云"抢AI推理市场。
IBM的差异化牌是：企业级合规+混合云能力+NVIDIA最新硬件。对需要合规保障的大型企业来说，这比纯AI原生云多了一层安全感。
需要冷静看的几点
- 30倍产出提升是NVIDIA的官方说法，实际场景下差距会小得多，具体表现要等集群上线后才有数据。
- 2027 Q1才上线，从签约到可用还有半年多，期间硬件和需求都可能变化。
- "positioned to deploy"的措辞有弹性，协议框架确定，但具体部署规模和节奏仍有调整空间。
---
基于IBM官方新闻稿及多家媒体转述整理。