分割科技进步的重要步伐揭晓

新智元报道

导读：英伟达最近开源了基于Blackwell架构优化的DeepSeek-R1，实现了推理速度提升25倍和每token成本降低20倍的惊人成果。
这是DeepSeek连续开源多个英伟达GPU优化项目之一，旨在共同探索模型性能极限。
当FP4的魔法与Blackwell的强大算力相遇，将碰撞出怎样的火花？让我们深入了解。

一、DeepSeek-R1与Blackwell架构的优化相遇

英伟达基于FP4生产级精度的模型在Blackwell架构上实现了优化，通过TensorRTDeepSeek技术使得推理性能暴涨25倍，成本狂降20倍。
新模型的加持下，B200实现了高达21,088token每秒的推理吞吐量，相较于传统的H100提升了数十倍的性能提升。
同时，每token的成本也实现了显著下降。
英伟达在MMLU通用智能基准测试中展示了这一技术的卓越性能，实现了接近FP8模型性能的99.8%。
这一切都预示着DeepSeek-R1与Blackwell架构的结合具有巨大的潜力。

二、DeepSeek-R1的开源与社区反响

英伟达基于FP4优化的DeepSeek-R1检查点现已在HuggingFace上开源，供广大开发者使用。
这一消息引起了网友们的广泛关注。
许多网友对FP4技术的魔法表示惊叹，认为这次优化为AI的未来带来了敏锐的发展前景。
一些专业人士也表示赞赏，认为这次优化展示了硬件和开源模型结合的可能性，将为高吞吐量应用和生产环境带来高效、低成本的推理。

三、DeepSeek的开源周与更多优化项目

除了DeepSeek-R1的优化外，DeepSeek还进行了为期五天的开源周活动。
这是DeepSeek持续推动AI模型高效计算和部署的重要举措。
周一，他们开源了专为英伟达HopperGPU打造的高效MLA解码内核FlashMLA；周二开源了专为混合专家系统（moe）和专家并行（EP）设计的通信库DeepEP；周三则是开源支持稠密和MoE模型的FP8GEMM计算库DeepGEMM。
这些开源项目都是通过对英伟达GPU和集群的优化，旨在实现AI模型的高效计算和部署。

四、DeepSeek-R1的具体应用与优化细节

DeepSeek-R1的优化利用了TensorRT-LLM技术，将Transformer模块内的线性算子的权重和激活量化到FP4，适用于TensorRT-LLM推理。
这种优化将每个参数从8位减少到4位，显著减少了磁盘空间和GPU显存的需求。
为了部署使用TensorRT-LLM的量化后的FP4权重文件，需要支持TensorRT-LLM的英伟达GPU（如B200），并且可能需要多个GPU实现张量并行。
通过利用FP4量化、TensorRT引擎和并行计算等技术，代码旨在实现高效、低成本的推理。
具体的硬件要求和性能优化细节已在相关代码中说明。

总结：
英伟达通过开源DeepSeek-R1和多个GPU优化项目，展示了其在推动AI模型高效计算和部署方面的努力。DeepSeek-R1与Blackwell架构的优化结合实现了推理性能的惊人提升和成本的显著降低。这不仅引起了广大网友的关注和赞赏，也为AI领域的未来发展带来了更多可能性。随着更多优化项目的开源，我们期待看到更多创新技术在AI领域的应用和发展。

---

---

相关标签： nvidia、 gpu、 英伟达、 大语言模型、 deepseek、

上一篇：赋能技术革新引领开发新潮

下一篇：微软OpenAI与谷歌展开激烈竞争纷纷推出免费