全新深度学习的里程碑

DeepSeek在开源周的新贡献：开放高效FP8GEMM库DeepGEMM

在开源周（OpenSourceWeek）的第三日，DeepSeek宣布开放其高效的FP8GEMM库——DeepGEMM。
这一举动是DeepSeek连日来持续推动算法开源的一部分，标志着其深度参与开源社区、推动技术民主化的决心。
大模型生态社区OpenCSG创始人陈冉用了一个生动的比喻来解释DeepSeek的这一动作：相当于以前DeepSeek是直接给一辆车，告诉大家这车能跑900公里，但现在DeepSeek开始展示如何把车开到900公里——通过公开其模型和算法背后的细节，使得开发者们可以更加深入地理解并利用这些技术。

这次发布的关键词是GEMM（General Matrix Multiplication，通用矩阵乘法），这是线性代数中的基本运算。
FP8GEMM则是使用8位浮点数进行矩阵乘法的计算操作。
FP8是一种低精度浮点格式，适用于深度学习和高性能计算，能够在保持较高计算效率的同时减少内存占用和带宽需求。

DeepGEMM不仅支持传统的稠密模型，还兼容MoE（混合专家）模型的GEMM运算。
基于这一代码库，英伟达的Hopper架构（如H100GPU）的V3/R1系列硬件可以得到高效的训练和推理支持。
据DeepSeek介绍，其在英伟达Hopper架构的GPU上实现了超过1350+FP8TFLOPS的性能，这标志着对算力的充分利用。
值得一提的是，DeepGEMM的代码设计非常简洁，只有一个核心内核函数，代码量约为300行，这在大多数矩阵规模上的性能都优于专家调优的内核。

那么，开源DeepGEMM的影响究竟有多大呢？DeepGEMM的开源推动了FP8生态的普及。
FP8作为AI计算的新兴标准，其高效性有望加速千亿参数模型的训练，降低显存需求。
在边缘设备或云端的部署中，FP8的低精度计算能显著提升吞吐量，降低成本。
DeepGEMM的开源行为无疑将推动更多开发者、框架和模型适配FP8，推动行业向低精度计算迁移。

DeepGEMM的开源为MoE模型的落地提供了关键支持。
MoE模型因其计算复杂性而难以落地，但DeepGEMM的高效实现参考可能催生更多MoE应用，如多模态模型、边缘端高效模型等。
这对于AI领域的研究和应用都有着重要意义。

陈冉对DeepSeek连续三天的代码库开源表示了高度认可。
在他看来，DeepSeek的目标不仅是公开其模型，更重要的是公开其背后的算法和“脚手架”，让大家基于DeepSeek的技术继续前行，共同构建生态。
这种开放和共享的精神是技术创新和发展的重要推动力。

对于从业者来说，DeepSeek的开源动作无疑会带来一定影响。
可能会引发一批AIInfra层的从业者寻找新的方向，因为DeepSeek已经基本给出了技术栈和模型。
这种开源也是一把双刃剑，利用好DeepSeek的开源内容可以得利，用不好则可能受到冲击。
但也有一些从业者认为，DeepSeek开源的是Infra层的推理加速部分，其底层技术开源虽然对从业者有影响，但影响或许不会太大。

DeepSeek的开源行为标志着其在推动AI技术发展、技术民主化以及生态构建方面的决心和行动。
每分享一行代码，都可能成为加速AI行业发展的集体动力。
我们期待看到DeepSeek接下来的动作以及其对AI行业产生的深远影响。
DeepSeek宣布将会陆续开源五个代码库，接下来还有两周的发布计划。
让我们共同期待这些开源内容如何进一步推动AI领域的发展。

---

---

相关标签： 代码库、 行业影响、 算法、 deepseek、

上一篇：看小米如何攀登销量巅峰成功之道解析

下一篇：事故详情的揭露与调查