【游戏以外】构造一个虚拟世界中的具身AI的试验场

雪狼的天空

这一帖标题起得唬人，但是实际上说的不是一件复杂的事情。事实上，这是我的一项学术研究内容。
我呢，设想出了一种新的AI架构，它本身的设计目标是通过尽可能有限的信息量来学习尽可能有效的决策（其实更主要的设计目标是模仿人脑的功能结构）。听叙述就知道，它跟大语言模型不是一路东西（虽然也会用到transformer的结构），而训练它需要的是全方位的世界和行动数据——很显然虽然最终是为全面接入现实世界里的音频和视频流等感知模态的，但测试阶段还是需要一个尽可能简单的世界和尽可能简单的信息。
——因此，我想要通过RPG Maker打造一个简单的二维游戏世界作为训练场。目前已经有用大语言模型驱动RPG Maker游戏角色的尝试了，这或许意味着能够利用RPG Maker制作简单的可以被AI理解的虚拟世界。
我发这一帖的目的，一方面是某种分享欲，另一方面则是想听听大家的看法：像是否有趣啦，是否可行啦之类的。

我知道论坛里大部分人应该对复杂的定义和各种术语无感，那我就换一种方式来叙述我的想法吧。
设想一个简单的游戏：一位勇者从家里出发，一路上打倒诸多小怪和boss，最终斩杀关底boss拿到任务物品并放到某处；很显然勇者要解决生存、变强和寻找任务目标三方面的问题，但是我们把这三方面问题做个划分使得玩家控制的勇者不能独自完成；勇者有一位AI控制的会在地图放技能的妹妹，包括给勇者加血（勇者自己不能给自己加血）、清理一个范围内的明雷怪物等，她可以看得到玩家和自身的状态，也可以知道自己周围的环境。在这个过程之中，玩家控制的勇者可以对AI控制的妹妹加以【鼓励】或【责骂】，这两种信息会触发AI对最近所做的历史决策进行评价，进而改变性能；但是，玩家没有办法精确告诉AI“我喜欢/不喜欢你做的某一件具体的行动”。这个AI智能体是具有记忆也会自主反思的，而观察她的行为正是实验的目标所在。为了简化问题，我决定设定“妹妹”永远被动跟随勇者，以避免复杂的寻路和行动指令问题（但是我这个架构里AI是能记路的，组件中有Tolman-Eichenbaum Machine）。
如果还不理解的话，可以想一想《尼尔机械纪元》里面2B身边的小pod，AI“妹妹”就相当于小pod的角色，永远跟随主角还能放技能；但唯有一点是不同的：她的决策和行为方式远远不同于脚本随从，是不能被玩家以简单策略预测的。
这个project的实现方式上，我需要把AI写成一个和游戏主程序通信的独立程序，相互之间是异步交互的。仔细说来，从游戏端传给AI端的信息是：“妹妹”周围n格的通行性数据、地形类型数据、NPC或怪的标签数据，勇者和妹妹的红蓝黄，妹妹下一步的运动；而从AI端传给游戏端的信息是：妹妹要做的事情（idle/放哪一个技能），以及她内部状态的某个投影解读（说人话就是“心情”，以便log给玩家）。
还没解决的问题是如何让AI使用物品，因为吐出来的决策是以状态向量的方式出现的，映射成没有指向性的地图技能和专门给勇者、专门给自己的技能都不难；但让状态向量映射成一个物品编号同时还有一个指向性目标，这可太难了。

其实是挺想知道大家怎么看待这个构思的复杂程度的。我跟Gemini等AI探讨之后，它们觉得这个属于中高复杂度（不计我接入的AI的内部构造），似乎也没有那么难。毕竟我砍掉了会消耗大量算力的实时语言内容，又通过游戏引擎简化了AI视觉（化成了通行性等三个通道数据）。

今天说这个话题，想起了一件旧事：那是大语言模型刚刚兴起的时候，我在度娘老滚吧发了一个帖子，说的是把游戏里的任务数据、主角/随从状态、地理位置和地名等数据传给外部大语言模型（以及一个记忆库），做出一个会随着位置和做的事情不同而产生不同对话的“活着的随从”。当年还有很多更进一步的设想，包括与随从实时打字交互并维护好感度、改进随从的战斗风格等等。记得是去年还是前年，一位ID叫火鸡味还是火锅味什么粥的老哥，就实现了外接语言大模型的“活着的随从”，这是一个里程碑吧。

HM495

额 所以本质我是不是可以理解成
把RM魔改成长连接的网游，然后让玩家去玩角色A，AI去玩角色B？

雪狼的天空

HM495 发表于 2026-8-8 11:50
额 所以本质我是不是可以理解成
把RM魔改成长连接的网游，然后让玩家去玩角色A，AI去玩角色B？ ...

是的。这样理解很对。
限制条件就是AI操控的角色不能自己行动，必须始终跟随玩家角色。

l001213

很关键的一点就是人们想象中的AI跟实际看到的AI完全不是一回事；想象AI是个智能体，自主决策，拥有意识，可以理解我的目的并自己做到我做不到的事情；显示是AI发展到现在功能已经很强了，但完全不是想象中那样，ai还是一个工具，就跟小时候幻想智能手机一样，很神奇但没那么神；这样发展下去未来只会是更高配置的智能手机，而不会是想象中的AI；我体验了现在游戏里接入的AInpc，他对话随机，可以根据我的提问自主回答，但我不觉得他像是活着的，也不觉得神奇，反而觉得无聊浪费时间，甚至不如设定好的NPC交流有目标，因为我知道设定好的回答是有限的，会有一个交流结果

雪狼的天空

l001213 发表于 2026-8-10 13:13
很关键的一点就是人们想象中的AI跟实际看到的AI完全不是一回事；想象AI是个智能体，自主决策，拥有意识，可 ...

你想象出的AI其实和现在以大语言模型为核心的AI是不一样的。想一想大语言模型实际上是以前馈的方式运行的：你给它发送一段信息，它回答一段信息；它没有自己的“线程”来不断向外界了解新信息并更新自己的认知——具有自己的感官和自己的内部认知状态，就实际上是具身性的一半了。
当然，如果AI真的自主决策、拥有意识，这对使用它的人恐怕未必会有好的体验——因为它不会那么听你的话，也不会不折不扣地完成你的任务。
你说的游戏里接入的AI NPC，觉得不像是活着的，这是因为它感受游戏当前环境的能力还很初级（例如仅仅是根据所在场景和视野范围调取一些说明文本，类似场景里东西的来由啦、其他npc的名字和故事啦什么的，把这些环境关联的文本记忆塞进大语言模型的提示词上下文里，然后回答你的问题）——有的时候就很出戏，因为它并不能总是根据我们理解的NPC角色的动机和思维角度进行思考。
至于你觉得不如设定好的NPC交流有目标，这个是必然的。因为设定好的对话是一个相当有限的集合，而玩家需要在有限的集合里高效地提取信息。让AI自主回答，不仅有的时候会忽略掉需要展示给玩家的信息，而且对话的效率也是极低的（应该不会有人想要花大把时间去挖NPC的动机和那些不能一句话问出来的不知道有用没用的消息）。
------
我想搞的，其实是像让AI活起来，这就是具身性的含义。当然很有可能这样的AI随从不好玩，但我的目标也不在于做一个好玩的AI随从，而是让它依据游戏世界里设定好的“感官”决策、行动，乃至最终开放它自主行走的权限，进而让它在游戏世界里生活。