Epoch AI新指数显示GB300 NVL72推理性能超H100十倍

Epoch AI于2026年11月9日发布推理性能指数，该指数综合考量计算能力、内存带宽和芯片间通信，旨在衡量硬件在固定输出速度下能同时服务多少用户。数据显示，Nvidia基于Blackwell Ultra的GB300在推理性能上比H100高出10倍。^[1]

GB300系统每GPU配备288 GB HBM3e内存，内存带宽约为8 TB/s，约为H100的2.4倍。GB300通常作为GB300 NVL72机架的一部分出货，该机架通过升级的NVLink互连连接72个GPU，支持最高约20–40 TB的池化内存。^[1]

据报道，GB300 NVL72在吞吐量、每token成本和并发方面相比H100有5–20倍的提升。MLPerf测试显示，GB300 NVL72在吞吐量和总拥有成本方面相比Hopper平台有5–7倍的优势。Nvidia声称GB300 NVL72在机架规模下相比Hopper实现每用户每秒最高10倍token数和每兆瓦5倍token数。^[1]