据香港IDC新天域互联了解，在最新发布的MLPerf Inference V5.0基准测试中，NVIDIA的Blackwell平台以其卓越的性能再度引领行业，尤其是其GB200 NVL72系统在处理AI推理任务时展现出了惊人的吞吐量，最高可达H200 NVL8的30倍。这一成就不仅为NVIDIA奠定了在AI领域的技术优势，也为AI工厂的未来发展指明了方向。
AI工厂是现代数据中心的进化版，不仅仅存储和处理数据，更通过将原始数据转化为实时洞察，制造智能。随着AI模型参数的增加，推理所需的计算资源也随之提升，这使得保持高吞吐量和低成本的挑战愈加严峻。NVIDIA的Blackwell架构通过优化每一层技术栈，从硅片到网络系统，再到软件，推动了这一领域的快速创新。
新的MLPerf更新引入了Llama 3.1 405B模型，这一开放权重模型被认为是运行起来最具挑战性的之一。此外，Llama 2 70B Interactive基准测试则设定了更严格的延迟要求，更加贴近实际应用场景中用户体验的需求。
在Llama 3.1 405B基准测试中，GB200 NVL72系统通过连接72个Blackwell GPU，展现出前所未有的性能，三倍于每个GPU的性能和九倍于NVIDIA NVLink互连域的规模。这一突破使得NVIDIA在推理效率和响应速度上设立了新的标杆。
根据NVIDIA的报告，Blackwell在Llama 2 70B Interactive基准测试中也表现不俗，使用八个Blackwell GPU的系统在性能上比使用H200 GPU的系统提高了三倍，展现了其在处理复杂任务时的卓越能力。
此次MLPerf基准测试中，NVIDIA与15个合作伙伴共同提交了出色的测试结果，包括思科、富士通和戴尔等知名企业。这些提交反映了NVIDIA平台的广泛适用性，覆盖了全球所有云服务提供商和服务器制造商。
MLCommons持续更新MLPerf Inference基准套件，以跟上AI发展的步伐，为IT决策者提供严谨的同行评审性能数据，帮助他们选择最佳的AI基础设施。
NVIDIA的Hopper架构在过去一年中也表现出色，Llama 2 70B的基准测试中，H100 GPU的吞吐量提高了1.5倍，而H200 GPU则实现了1.6倍的提升。这一系列的优化不仅提升了AI工厂的生产力，也为未来更多复杂的模型和应用场景奠定了基础。
尽管NVIDIA的Dynamo开源推理软件尚未在此次基准测试中亮相，但其潜力被广泛看好。业内专家表示，这一软件将为数据中心的整体性能提升提供新的可能性，进一步推动AI技术的进步。
NVIDIA Blackwell平台在MLPerf基准测试中的成功，不仅展示了其强大的技术实力，也为AI工厂的发展开辟了新的可能性。随着AI技术的不断演进，NVIDIA的创新将继续引领行业走向更高的智能化水平，成为推动未来数字经济的重要力量。返回搜狐，查看更多
