英伟达年终核弹！全新B3004为o1推理大模型打造
RTX5090也曝光了
英伟达老黄，成了今年的圣诞老黄。
AI 芯片大礼包刚刚曝光：
GPU 新核弹B300，以及附带 CPU 的超级芯片GB300。
高算力，在产品层面上相比 B200 在 FLOPS 上提高 50%
大显存，从 192GB 提升到 288GB，也是提高了 50%。

△Grok  AI 绘图
包含 72 块 GB300 的 " 新一代计算单元"GB300 NVL72，更是被评价为 " 能让 OpenAI o1/o3 推理大模型的思维链长度，在高 batch size 下达到 10 万 tokens 的唯一方案 "。‍
这与今年 3 月份 "AI 春晚 " 发布的 B200 系列只隔了几个月。
根据 SemiAnalysis 爆料，从第三季度开始，许多 AI 巨头已经将订单从 B200 转移到了 B300（只有微软还在第四季度继续购买了部分 B200）。
有不少网友感叹，更新速度实在太快了！
既是解决了此前传闻中 B200 因设计缺陷被迫推迟的问题，又是对隔壁 AMD MI300 系列后续产品将在 2025 年提升显存容量的回应。

又一款 AI 核弹
既然都是 Blackwell 架构没有跨代，B300 的算力提高来自哪里呢？
根据这次爆料，主要有三部分：
工艺节点，与 B200 使用同样的台积电 4NP，但是全新流片
增加功率，GB300 和 B300 HGX 的 TDP 分别达到 1.4KW、1.2KW，相比之下 B200 系列分别提高 0.2KW
架构微创新，例如在 CPU 和 GPU 之间动态分配功率
除了更高 FLOPS 之外，B300 系列的显存也做了升级：
从 8 层堆叠的HBM3E升级到 12 层（12-Hi HBM3E）
显存容量从 192GB 升级到 288GB
显存带宽保持不变，仍为 8TB/s
此外产品交付层面还有一个大变化：
GB200 系列提供整个Bianca Board，也就包括两颗 GPU、一颗 CPU、CPU 的内存等所有组件都集成在一块 PCB 版上。

△GB200 概念图
GB300 系列将只提供参考板（Reference Board），包括两颗 B300 GPU、一颗 Grace CPU、HMC（Hybrid Memory Cube），LPCAMM 内存模块等组件将由客户自行采购。
这给供应链上的 OEM 和 ODM 制造商带来了新的机会。
为推理大模型打造
显存的升级对 OpenAI o1/o3 一类的推理大模型至关重要，因为推理思维链长度会增加 KVCache，影响 batch size 和延迟。
以一个 GB300 NVL72" 计算单元 " 为单位考虑时，它使 72 个 GPU 能够以极低的延迟处理相同的问题，并共享显存。
在此基础上从 GB200 升级到 GB300，还可以带来许多好处：
每个思维链的延迟更低
实现更长的思维链
降低推理成本
处理同一问题时，可以搜索更多样本，最终提高模型能力

为了解释这些提升，SemiAnalysis 举了个更为直观的例子。
下图是在不同批处理大小下，使用 H100 和 H200 两种 GPU 处理长序列时，Llama 3.1 405B 在 FP8 精度下的处理速度。
输入设置为 1000 个 token、输出 19000 个 token，由此模拟 OpenAI o1 和 o3 模型中的思维链。

从 H100 升级到 H200，有两个显著改进。
一是在所有可比较的 batch size 中，H200 的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理效率普遍提高了 43%。
二是 H200 可运行更高的 batch size，这使得其每秒可以生成的 token 数量增加了 3 倍，相应地，成本也减少了约 3 倍。
内存增加所带来的效益远不止表面上的这些。
众所周知，推理模型响应时间一般更长，显著缩短推理时间可以提高用户体验和使用频率。
而且内存升级实现 3 倍性能提升，成本减少 3 倍，这一提升速度也远超摩尔定律。
除此之外，SemiAnalysis 还分析观察到，能力更强和具有明显差异化的模型能收取更高的溢价——
前沿模型毛利率超 70%，而还在与开源模型竞争的次一级模型毛利率不足 20%。

当然，英伟达并不是唯一一家能增加内存的芯片公司，但奈何英伟达还有杀手锏NVLink。
One More Thing
英伟达消费级显卡方面，RTX5090 的 PCB 板也首次曝光了～
就在昨天，一张 RTX 5090 PCB 照片在网上疯转。
特点就是超超超大号。

结合此前爆料称 5090 有可能会配备32GB 大显存，有望支持 8K 超高清游戏，实现 60fps 的流畅游戏体验。
网友们直接坐不住。
关于 5090 的发布时间，大伙儿猜测大概会是 1 月 6 日老黄 CES 演讲的时候。

华为立马超越

围观一下怎么个事儿~

看不懂，但是知道他很牛逼就是了。

命驾幸无千里远


春湖舣楫待君游

谢谢分享

感谢分享

谢谢分享

感谢分享

感谢分享 这才是牛逼  赢麻了不等于牛逼

感谢分享

感谢分享

谢谢分享

发帖辛苦

感谢分享

我始终坚信：
1. 二值的电子计算机是无法实现真正的人工智能的
2. 只有量子计算机才能最终实现人工智能

5090这么夸张吗

感谢分享 

这个厉害了

感谢分享

1024

厉害的老黄

感谢分享

谢谢分享

感谢你的分享