重塑深海域的探索界限

新智元报道

导读：由UCLA等机构共同组建的研究团队，在未经监督微调的2亿参数（2B）模型上，成功实现了多模态推理的deepSeek-R1，并见证了基于DeepSeek-R1-Zero方法的视觉推理「啊哈时刻」！这一成就再次让AI社区轰动。

一、DeepSeek-R1的「啊哈时刻」

研究团队在对未经监督微调的模型进行多模态推理训练时，意外发现了一个令人振奋的现象——模型的推理能力在训练过程中突然跃升，表现为能够自主开发高级问题解决策略，即「啊哈时刻」。
这个时刻的出现，标志着模型开始自发地重新审视自己的推理方法，并提升推理能力。
这种现象在视觉任务中尤为突出，显示出强化学习（RL）在解锁模型全新层次智能的巨大潜力。

二、DeepSeek-R1的独特推理能力

DeepSeek-R1的成功不仅在于其独特的推理能力，更在于其能将这种能力成功扩展到多模态推理领域。
很多试图复现DeepSeek-R1的研究都遇到了一个难题：难以复现出R1所表现出的回答长度增加和思考模式。
UCLA等机构的研究者成功地解决了这个问题，并且仅在未经监督微调的2B模型上实现了这一突破。
他们发现，更长的推理过程可以让以视觉为中心的任务极大受益。

三、多模态大语言模型上的R1-Zero训练方法

VisualThinker-R1-Zero是如何通过直接对未经微调的基础模型应用RL训练实现「啊哈时刻」的呢？现有将RL应用于微调视觉模型的项目都未能复制DeepSeek-R1的关键特征。
这项工作的研究者采用了一种被忽视的方法——直接对未经监督微调的模型应用强化学习。
这种训练设置成为了在多模态推理中实现真正「啊哈时刻」的关键。
他们采用了一种简洁优雅的RL方法，避免使用奖励模型或类似于蒙特卡洛树搜索（MCTS）的技术。
他们使用基于规则的奖励函数，根据响应的格式和正确性来评估。

四、实验验证

研究团队在实验中验证了他们的方法。
他们微调了Qwen2-VL-2B基础模型，并在CV-Bench（一个以视觉为中心的基准测试套件）上评估其性能。
训练过程使用了来自SAT训练数据集的约12，000个查询。
与DeepSeek-R1-Zero类似，他们直接在基础模型上应用强化学习，而不进行任何监督微调。
这种方法比Qwen2-VL-2B（基础模型）提升了约30%的性能，比经过监督微调的模型也表现出更高的性能。
这证明了视觉推理同样能从R1-Zero训练中获益，并且强化学习对多样化推理的探索展现出了更具可扩展性的训练方法。

五、关键特征与比较

DeepSeek-R1的关键特征在于其通过强化学习在无监督模型中实现了「啊哈时刻」和响应长度的持续增长。
研究者认真总结了这些特征，并与自己的模型和其他多模态复现模型进行了比较。
在这个过程中，他们强调了两种显著的现象：「啊哈时刻」和响应长度的持续增长。
前者意味着模型开始自主开发高级问题解决策略，后者则表明模型在训练过程中自然学会了利用更长的思考时间来解决推理任务。
如果复现模型未能展现出这些关键特征，那么其成功与否就值得存疑。

六、研究团队的发现与未来计划

研究团队在GitHub上开源了训练代码和关于响应长度的发现，希望能加速AI社区未来对多模态推理的研究。
除了分享成果外，他们还详细介绍了团队成员的背景和研究兴趣，以及未来的研究计划。
他们将继续探索响应长度与多模态推理之间的关系、泛化能力与记忆能力的对比以及R1方法何时有效及其工作原理等问题。
他们还将关注可信AI的研究，特别是基础模型的可控性和解释性。
在采访环节，他们分享了更多的想法和计划，并表示对未来充满期待。
他们认为多模态AI智能体的研究具有巨大的潜力，并呼吁更多研究者加入这一领域的研究队伍。
同时他们也感谢合作伙伴的支持和指导以及团队成员的共同努力为这一领域的进步做出的贡献。
他们认为这只是个开始未来还有更多的挑战和机遇等待着他们去探索和攻克。
此外他们还强调了团队合作的重要性并鼓励更多的研究者通过合作共同推动人工智能领域的发展。
随着研究的深入他们将不断揭示更多关于多模态推理的奥秘并为人工智能的进步做出更大的贡献。
他们也欢迎更多的研究者加入他们的研究团队共同为人工智能的发展贡献力量。
总的来说报道展示了研究团队在多模态推理领域的突破性成果以及他们未来的研究计划和展望为读者提供了深入了解这一领域的机会也为人工智能领域的发展带来了新的希望和挑战。

---

---

相关标签： 算法、 多模态推理、 rl、 啊哈时刻、 deepseek、 云计算费用、

上一篇：说好的性能与实际表现差异巨大

下一篇：外媒科学网站摘要解读