奇月发自凹非寺量子位——QbitAI操控电脑的极致体验

随着科技的飞速发展，人工智能（AI）已逐渐渗透到我们生活的方方面面。
新加坡国立大学团队的一项最新研究，成功将AI与电脑操控相结合，为我们带来了一场前所未有的技术革命。
该团队通过全面测试，展示了AI在操控电脑方面的惊人能力，尤其是在自动完成各种任务方面的表现，令人瞩目。

一、AI自动操控电脑的新时代

在新加坡国立大学团队的研究中，他们选用了米哈游的《崩坏：星穹铁道》进行游戏测试。
令人惊奇的是，AI不仅能够自动完成游戏中的日常任务，甚至还能理解游戏规则和目标，根据界面上不同的任务进行调整。
网友们纷纷表示，以后只需让AI帮忙完成日常任务，自己便可以专注于其他事情。

二、AI在办公场景下的应用

除了游戏场景，该团队还在日常办公场景下对AI进行了测试，并取得了令人瞩目的成果。

1. 网页搜索：AI可以在Amazon和Apple官方网站上成功完成下单购物的任务，包括选择颜色配置、填写地址等。
2. 工作流程：AI还成功完成了在Apple Music添加歌曲、编辑Excel数据、在AppStore安装应用等任务。
3. 办公生产力软件：AI可以在Outook中转发邮件、调整Word布局、设置PowerPoint背景以及插入形状等，大大增强了生产力。

三、ClaudeComputerUse背后的自动化GUI框架

那么，ClaudeComputerUse是如何做到自动完成任务的呢？这离不开其背后的自动化GUI框架设计。该框架主要包括以下六个部分：

1. 系统提示：提供环境概述、可用函数和参数描述，方便用户调用。
2. 状态观察：通过实时截图观察环境，不依赖元数据或HTML，帮助生成下一步的动作。
3. 推理范式：采用推理-行动范式，根据环境决定下一步动作，生成更可靠的动作。
4. 工具使用：提供计算机工具、文本编辑器工具和Bash工具，帮助模型与计算机交互。
5. GUI动作空间：内置所有原始的鼠标和键盘动作，如鼠标移动、点击、按键组合等。
6. 历史视觉上下文维护：在每个时间步长保留历史截图，辅助动作生成过程。

四、性能测试与案例分析

为了更广泛地测试ClaudeComputerUse和GUI框架联合后的性能效果，团队进行了详尽的测试实验。
测试包括数据收集、样本选择和参数配置等多个环节。
虽然在一些复杂网页或软件的场景下，模型出现了一些失败案例，但整体来说，其表现已经相当出色。

五、未来展望

随着技术的不断进步，AI操控电脑的能力将会越来越强。
未来，我们有望看到更多的自动化任务被AI完成，从而极大地提高我们的生产效率和生活质量。
Claude老师，以后我的PPT和Steam就拜托你了！

六、结语

新加坡国立大学团队的这项研究为我们展示了AI操控电脑的无限可能。
在未来，我们有理由相信，AI将成为我们生活和工作中的得力助手，为我们带来更多的便利和效率。
参考资料：[本文链接](项目链接](

标签： 电脑、 gui、 计算机、 命令提示符、

本文地址： https://www.gosl.cn/hlzxwz/a6126834547396b102b4.html

上一篇：揭秘黄仁勋港科大精彩时刻...
下一篇：可口可乐携手可灵展现创新力量...