谷歌DeepMind的新人工智能可以在3D游戏中遵循以前从未见过的命令

谷歌深度思维公布了一项新的研究，强调人工智能代理能够在 3D 游戏中执行一系列以前从未见过的任务。该团队长期以来一直在试验可以在以下领域获胜的：去和国际象棋，甚至学习游戏没有被告知他们的规则。现在，根据 DeepMind 的说法，人工智能代理首次表明它能够理解广泛的游戏世界，并根据自然语言指令在其中执行任务。

研究人员与 Hello Games 等工作室和发行商合作(无人深空)，燕尾服实验室(拆除)和咖啡渍(瓦尔海姆和模拟山羊3)在九个游戏上训练可扩展指导多世界代理(SIMA)。该团队还使用了四种研究环境，其中一个是在 Unity 中构建的，其中代理被指示使用积木形成雕塑。这为 SIMA(被描述为“3D 虚拟设置的通用 AI 代理”)提供了一系列可供学习的环境和设置，以及各种图形样式和视角(第一人称和第三人称)。

研究人员在博客文章中写道：“SIMA 产品组合中的每款游戏都开辟了一个新的互动世界，包括一系列需要学习的技能，从简单的导航和菜单使用，到采矿资源、驾驶宇宙飞船或制作头盔。” 他们指出，学习遵循视频游戏世界中此类任务的指示可能会在任何环境中产生更有用的人工智能代理。

研究人员记录了人类玩游戏的情况，并记录了用于执行操作的键盘和鼠标输入。他们利用这些信息来训练 SIMA，它具有“精确的图像语言映射和一个可以预测屏幕上接下来会发生什么的视频模型”。人工智能能够理解一系列环境并执行任务以实现特定目标。

研究人员表示，SIMA 不需要游戏的源代码或 API 访问权限——它适用于游戏的商业版本。它还只需要两个输入：屏幕上显示的内容和用户的指示。由于它使用与人类相同的键盘和鼠标输入方法，DeepMind 声称 SIMA 几乎可以在任何虚拟环境中运行。

该代理根据数百种基本技能进行评估，这些技能可以在 10 秒左右的时间内完成，涉及多个类别，包括导航(“右转”)、对象交互(“捡起蘑菇”)和基于菜单的任务，例如打开地图或制作物品。最终，DeepMind 希望能够根据自然语言提示命令智能体执行更复杂、多阶段的任务，例如“寻找资源、建立营地”。

在性能方面，SIMA 根据多项培训标准表现良好。研究人员在一款游戏中训练了智能体(为了清楚起见，我们假设是《模拟山羊 3》)，并让它玩同一个游戏，并以此作为性能基准。接受过全部 9 款游戏训练的 SIMA 智能体的表现远好于仅接受《模拟山羊 3》训练的智能体。

特别有趣的是，在其他八场比赛中训练然后玩另一场比赛的 SIMA 版本的平均表现几乎与仅在后者上训练的智能体一样好。DeepMind 表示：“这种在全新环境中运行的能力凸显了 SIMA 超越训练的泛化能力。” “这是一个很有希望的初步结果，但是 SIMA 需要进行更多的研究才能在可见和未见的游戏中达到人类水平。”

然而，SIMA 要想真正取得成功，就需要语言输入。在没有向智能体提供语言培训或指令的测试中，它(例如)执行收集资源的常见动作，而不是按照指示行走。研究人员表示，在这种情况下，SIMA“以适当但漫无目的的方式行事”。所以，这不仅仅是我们凡人。有时也需要一点推动才能正确完成工作。

DeepMind 指出，这是早期研究，结果“显示了开发新一波通用、语言驱动的人工智能代理的潜力”。该团队预计，随着人工智能暴露在更多的训练环境中，它会变得更加通用和通用。研究人员希望该代理的未来版本能够提高 SIMA 的理解能力及其执行更复杂任务的能力。DeepMind 表示：“最终，我们的研究正在构建更通用的人工智能系统和代理，它们可以理解并安全地执行各种任务，从而对网络和现实世界中的人们有所帮助。”