操控电脑，究竟可以做到什么程度？随着人工智能技术的飞速发展，这个问题正逐渐变得愈发引人瞩目。近日，新加坡国立大学（NUS）团队在多个场景下进行了全面测试，并带来了一项令人瞩目的成果——基于AI的自动GUI（图形用户界面）操控系统。其中，最令人惊奇的是AI已经能够自动完成手游的日常任务。

在研究中，团队选用了米哈游的《崩坏：星穹铁道》作为测试游戏。
通过AI系统Claude，不仅可以依次打开游戏菜单、找到星穹里的黄金花萼、自动设置挑战次数，还能启动自动战斗并等待战斗结束。
这一系列操作不仅流畅，而且智能。
Claude能够理解游戏规则和目标，根据界面上的不同任务进行调整。
这一突破意味着，未来玩家即使不在场，也能让AI代为完成日常游戏任务。

除了游戏领域，NUS团队还在本文中展示了一个开箱即用的自动GUI框架。
该框架的应用范围远不止于此，还涵盖了诸多日常办公场景。

1. 网页搜索：在Amazon和Apple官方网站上，Claude能够成功完成下单购物的任务，包括选择颜色配置、填写地址等。

2. 工作流程模型：在Apple Music添加歌曲、编辑Excel数据、在AppStore安装应用等任务，Claude也能轻松完成。
即使在界面设计和跳转逻辑更为复杂的场景下，它依然能够智能地理解任务的最终目标。

3. 办公生产力软件：Claude可以在Outook中转发邮件、调整Word布局、设置PowerPoint背景以及插入形状等等。
这些功能的实现，标志着生产力的大大提升。

除了《崩坏：星穹铁道》，Claude还能自动玩《炉石传说》等其他游戏，包括创建和重命名牌组、使用英雄技能等。

那么，Claude是如何做到自动完成这些任务的呢？这背后依托了ClaudeComputerUse的API和一个自动化GUI框架。框架设计主要包括以下几个部分：

1. 系统提示：提供环境概述、可用函数和参数描述，用户可以通过编写块来调用这些函数。

2. 状态观察：ClaudeComputerUse通过实时截图观察环境，不依赖元数据或HTML。
这有助于模型生成更可靠的动作。

3. 推理范式：采用了一种推理-行动范式，通过观察环境来决定下一步的动作。

4. 工具使用：提供了计算机工具、文本编辑器工具和Bash工具等，帮助模型与计算机进行交互。

5. 动作空间：内置了所有的原始鼠标和键盘动作，模型会根据需要自行组合。

为了测试ClaudeComputerUse和GUI框架联合后的性能效果，研究团队进行了详细的测试实验。
实验设计包括在Windows和macOS平台上进行评估，涵盖了广泛的应用领域。
具体的测试任务包括网页搜索、工作流程、办公生产力软件和视频游戏等。
测试结果表明，虽然在某些复杂场景下会出现失败案例，但整体来说，ClaudeComputerUse已经展现出了强大的潜力。

随着技术的不断进步，我们可以预见，未来的AI系统将更加智能、更加自动化。
ClaudeComputerUse的API和自动化GUI框架为电脑操控带来了新的可能性。
从玩游戏到办公生产力，从简单任务到复杂操作，AI将在更多领域发挥重要作用。
当然，我们也需要注意到，在AI技术发展的同时，也需要关注其潜在的风险和挑战。
只有在合理利用和管理下，才能让AI技术真正为人类带来福祉。

标签： Claude、 AI电脑、 星穹铁道、

本文地址： https://www.gosl.cn/hlzxwz/85437be86d24eb9904c4.html

上一篇：随着市场的不断扩大和创新产品的不断推出，吉...
下一篇：领跑游戏无尽冬日...