揭秘斯坦福独家科研成果关于o1的全新研究信息

揭秘大模型在数学竞赛中的软肋：斯坦福o1-pREView面对变体题准确率骤降

近日，斯坦福大学的一项研究引起了广泛关注。
该研究发现，尽管OpenAI的o1-preview模型在数学和编程领域展现出了惊人的能力，但在特定的数学竞赛题目下，其准确率却出现大幅下滑。
特别是当题目中的变量、常量等要素稍作修改时，模型的准确率竟下降高达30%。
这项研究究竟隐藏了怎样的玄机？让我们一起深入剖析。

一、普特南数学竞赛及其影响力

普特南数学竞赛（Putnam），由William Lowell Putnam家族发起，自1938年首届举办以来，历经66年的沉淀，成为全球大学生数学精英一较高下的顶级赛场。
该竞赛的题目以其高难度和独特的出题思路著称，是全球数学界最具权威性和挑战性的赛事之一。
美国数学会的精心主办以及哈佛大学、多伦多大学等名校学子的踊跃参与，使得这一竞赛的桂冠成为无数学子梦寐以求的殊荣。

二、o1-preview模型的多领域能力

OpenAI的o1-preview模型凭借超强的推理能力，在各个领域都取得了显著的成绩。
在编程领域，它在Codeforces编程竞赛中的表现尤为出色。
在数学领域，该模型也展现出了惊人的实力。
例如，在2024年的美国数学邀请赛（AIME）题目集上，o1-preview的正确率高达83%，相当于全美参赛选手top500的水平。
甚至在医学诊断方面，该模型也表现出了超越人类医生的实力。

三、普特南竞赛题的魔力与模型的困惑

尽管o1-preview模型在多领域表现出色，但当面对普特南数学竞赛的题目时，却仿佛迷失了方向。
在原始题目上，模型能够达到一定的准确率，但当题目稍作修改后，准确率便大幅下降。
这背后的原因在于，普特南竞赛的题目以高难度和巧妙的设计著称，即使细微的改变也可能涉及到数学概念的深层次运用和逻辑结构的变换。
o1-preview模型在训练过程中，可能更多是针对常见的数学题型进行优化，对于这种专门设计、极度刁钻的变体题缺乏足够的应对经验。

四、Putnam-AXIOM基准：AI数学能力的试金石

为了更深入地评估AI大模型的数学能力，研究团队精心打造了Putnam-AXIOM Original基准。
这一基准收录了来自历年普特南数学竞赛的236个数学问题，并设计了一套程序化修改机制，可以对问题中的关键要素进行修改，生成无限多个全新且难度相当的问题。
这一基准的设计，不仅收录了原题，更通过巧妙的程序化修改，杜绝了模型靠“死记硬背”答案来作弊的可能，真正做到了对AI数学推理能力的精准探测。

五、模型的挑战与未来的方向

在Putnam-AXIOM基准的测试下，包括o1-preview在内的多个模型都面临了巨大的挑战。
原始题目上的准确率下滑显著，反映出当前AI模型在面对数学问题灵活变化时的适应性较差。
这也为未来AI模型的训练和提升指明了方向：需要增强模型的适应性和灵活性，以便更好地应对各种变体题目。
同时，普特南竞赛题的变体设计也为我们提供了一个宝贵的资源，帮助我们更深入地了解AI在数学领域的局限和潜力。

六、结语

斯坦福大学的这项研究为我们揭示了AI模型在数学竞赛中的软肋。
未来，随着技术的不断进步和研究的深入，我们期待AI模型能够在数学领域取得更大的突破和进展。
同时，我们也期待更多的研究能够关注到AI模型的适应性和灵活性问题，为AI的发展注入新的活力。
本文来自微信公众号：新智元（ID：AI_era）。

---

---

相关标签： OpenAI、 o1、

上一篇：黑客入侵波及知名品牌电商平台

下一篇：28Ultra系列三防手机震撼亮相全新Armor