推出推理基准 港中文 DeepSeek MME 视觉推理哪家强 OpenAI MMLab Kimi

文章标题：MME-CoT：针对视觉推理模型的全面评估框架

随着人工智能技术的飞速发展，大型语言模型（LMMs）的推理能力日益受到关注。
近日，来自港中文MMLab的研究者们提出了一种全新的评估框架——MME-CoT，用于全面评估视觉推理模型的性能。
这一框架通过引入链式思维（Chain-of-Thought，CoT）的概念，旨在更深入地评估模型的推理质量、鲁棒性和效率。
接下来，我们将详细介绍这一框架及其核心要素。

一、视觉推理模型中的链式思维（CoT）

链式思维是一种新兴的推理方式，通过在模型中构建一个有序的推理过程来实现。
这种方法的引入使模型能够进行类似于人类的逻辑推断和问题解决。
在视觉推理模型中，链式思维扮演了重要的角色，尤其是在解决复杂的视觉推理问题时。

二、MME-CoT评估框架的三大核心方向

为了全面评估视觉推理模型的性能，MME-CoT框架提出了三个主要的评估方向：

1. CoT的质量：评估链式思维过程中的每个步骤是否有用且准确。为此，研究者们引入了可解释的指标来详细评估每个步骤的有效性。
2. CoT的鲁棒性：衡量链式思维在不同任务下的稳定性。为了评估鲁棒性，MME-CoT设计了感知任务和推理任务两大类任务，并采用了两种不同的提示形式来测试模型的稳定性。
3. CoT的效率：研究采用链式思维的推理方法是否在准确性和计算成本之间取得了最佳平衡。为了评估效率，研究者们首次对大型语言模型中的CoT效率进行研究，并使用关键指标来衡量。

三、MME-CoT框架在视觉推理中的应用

MME-CoT测试集为评估视觉推理模型提供了一个丰富的平台，涵盖了六大领域和十七个子类的问题。
为了保持对推理过程的关注，测试集中的问题设计旨在涵盖专业领域与常识场景，同时排除了需要复杂领域特定定理或专业知识的问题。
为了评估链式思维的运用，标注团队为所有推理问题提供了必要的推理步骤的GroundTruth标注。

四、实验结果与发现

在MME-CoTBenchmark上进行的实验测评结果显示，一些具有超强推理能力的模型在视觉推理任务中表现出色，如DeepSeek-R1和o3-mini。
实验也揭示了一些值得注意的问题。
例如，长CoT并不一定能涵盖关键步骤，尽管长思维链模型具有更高的准确率，但每个步骤的信息量并不能得到保证。
实验还发现更多参数的模型往往能更好地掌握推理能力。
同时，模型的反思错误也是影响性能的重要因素之一。
这些错误涵盖了多种类型，理解和消除这些错误对于提高模型的推理效率和可靠性至关重要。

五、总结与展望

MME-CoT框架为评估视觉推理模型的性能提供了一个全面且系统的基准。
通过揭示现有模型在推理质量、鲁棒性和计算效率等方面的不足，这项工作为后续研究奠定了重要基础。
展望未来，MME-CoT不仅将推动视觉推理模型实现更强大和可靠的性能，还将为相关领域的研究指明关键发展方向。
同时，随着研究的深入，我们有望看到更多创新的视觉推理模型和算法的出现，为解决更广泛的问题提供有力支持。

以上内容来自微信公众号：量子位（ID：QbitAI）。
作者：姜东志。
原标题《DeepSeek、OpenAI、Kimi视觉推理到底哪家强？港中文MMLab推出推理基准MME-COT》。

---

---

相关标签： AI基准、 MMLab、 港中文、 AI推理、

上一篇：探讨AI领域的未来发展

下一篇：预计发送旅客达1430万人次