人工智能训练师孙羽茜：当AI学会说 NO，以及其他更真实的问题

编者按：目前关于人工智能、尤其是聊天机器人的讨论中，缺乏和游戏相关的严肃对话。这一部分是因为游戏领域有自己的垂直媒体和社群，另一部分是因为游戏的娱乐性太强，在严肃讨论中往往会被置后。但其实，游戏对人工智能的应用既有深厚的历史又有广泛的案例。在我认识的游戏设计师和艺术家中，孙羽茜是这个领域中最有趣的一位，她很早就在作品中加入聊天机器人的NPC角色，不断探索如何将人工智能设计得更能赋予玩家满足感和意义感。从早期创作对玩家爱答不理的聊天机器人李白，到在在线社群帮助玩家去未来旅行冒险的Wander，再到多人游戏中提供沉浸体验的冒险家NPC David 和 Catherine，孙羽茜一直在实践用虚构的AI传递真实的温度。在创作游戏作品和艺术作品同时，她也在攻读和这个领域相关的博士学位。这期 Game On 访问了孙羽茜，详细谈她在开发聊天机器人过程中的亲身经验、观察到的奇妙之处和衍生问题，比如 AI 学会说 NO 之后人类的反应，以及在 AI 取代画师之外更为真实迫切的问题，以下是访问后整理的文字：

大家好，我是孙羽茜。

我目前在英国皇家艺术学院攻读博士，专注研究聊天机器人。和这个领域的其他学者相比，我的切入点也许比较特别，我是用创意和艺术的角度展开工作的，我的很多作品涉及电子游戏相关内容。

我认为电子游戏很像人工智能科技的试验场，所以在我的研究中，聊天机器人会被放置在一个虚构的背景之下工作，譬如说在一个故事中担当虚拟角色，刺激玩家的反应和反馈。而我则会观察和分析这种互动和传统互动有什么区别，研究这种虚构的人工智能 NPC 能否有效地给人类讲故事，使人类与之产生情感联结。

李白与软件体

这些年，我的很多作品在美术馆里展出，熟悉我的玩家和观众看到这些作品后，会觉得我做的东西都是人工智能相关的。其实，真正拿聊天机器人做作品，是从2021年开始的。不过，2018年我在清华美院读书时，确实已经尝试做人工智能相关的作品，但当时的技术和今天比非常初级，人工智能的话题也不热门，尤其是聊天机器人这种东西是没人关注的。记得当时我和几位同学做聊天机器人作品时，甚至任课老师都会怀疑这个作品有什么用。可是我们就很想做，那时我有一个预感：机器给人的感受是人为设计赋予的，而我要专门去设计这个部分。

第一个作品叫《Rebo》，是模拟唐代诗人李白的聊天机器人。我们把这个李白接入微信小程序，人们可以和他随意聊天。创作中，我最关心情绪设计。人类总是有情绪的，情绪会影响我们的行为，如果现在我特别生气，就有可能说话说不下去；如果我处于激动的状态，则会说话较多。李白在这个层面上很适合被挪用，因为大家印象中他是个情绪强烈的人。在和用户聊天之外，我们还给这位李白设计了一个特别的功能——醉酒下线。李白有时会因喝多了酒不回复用户消息，他撂下一声“喝醉了”，就消失了。用户反馈说情绪化的李白很有吸引力——他忽然下线、对人爱答不理这些特点反而会让人更想跟他说话。

那时我感兴趣的的方向是视觉艺术，花了很多时间研究各种视觉特效。后来读研究院，我意识到特效创新不是我想专注一生的题目。我对人工智能的兴趣更大，不过似乎又跟别人不太一样。

一般来说大家对人工智的兴趣集中在绘画方面。其实这部分的创作有很多年的历史了，但以前没有现在的技术成熟，所以人工智能画的东西不够好，没有如今那么引人注目。但文字转图、文字生成视频这些技术几年前就很多。大多数作品是基于视觉的，基于文本的极少，仅有的一些也非常抽象，比如两个机器人互相写情书这种。这种选择也很自然，视觉模态是非常容易被接收到的信号，很好被人识别、吸收。所以这个方向对于创作者来说刺激最大。相较而言，文字模拟的难度大很多，接受度也不高。虽然我是美院出身，但我对视觉的兴趣不大，我更感兴趣人工智能和人的情感联结，感兴趣人工智能在叙事方面的潜能，所以会更关注和文字叙事有关的研究。

早期我看到这方面的讨论比较少。最记得本科时，看美国科幻作家 Ted Chiang 的一篇小说，题目叫《软件体的生命周期》——我认为这是至今为止关于人工智能最好的科幻小说。这篇小说描述的科技产品叫“软件体”，那是一种在网络虚拟环境里出生、成长的智能生物。小说的主角是一位女性，她原本是动物园的驯兽师。失业后她接到某个科技公司的招聘电话。她不懂为何科技公司会找驯兽师工作。不过拜访了那家公司后她很快明白了原委——软件体外表很像动物，是动物形态，而它们的智商则跟人类小孩差不多，所以寻要人类教育喂养——软件体需要一个驯兽师。小说一路铺陈开来，讲到当软件体、也就是人工智能发展到一定阶段，会引发道德伦理问题，但其本身又没有发展到如人类一样可以解决这些问题。最后，运营软件体的科技公司无法工作，大家不知道接下来怎么办，是废弃这些软件体，还是找别人接盘，抑或是任它们自生自灭。

这篇小说对我的震撼很大。我们现在看到的很多小说电影，主题是关于强人工智能的——在某项能力上跟人类非常接近甚至或者超越人类的人工智能。这些故事里，人们焦虑人工智能太强大、太厉害，思考到底要怎么对待它们，要小心别被它们灭了。这其实也是目前很多关于ChatGPT讨论的一个前提。但《软件体的生命周期》中的人工智能处在早期阶段——软件体好像已经成长到人的状态了，但不像人那么高级。如今我们的人工智其实甚至还在前软件体时代，我们热衷研究的是如何再进一步，让人工智能表现得像小说中的软件体，也有人讨论到底要不要把人工智能往软件体或者往个体的方向去发展。因此我觉得Ted Chiang 触及的关於伦理，还有设计者与人工智能产品的关系很重要，值得关注。

人类的反馈与陪伴

如今的我经常跟人介绍自己是人工智能的幼儿园老师。客观来说我的很多工作就是教机器怎么跟人表达，它能说什么、不能说什么，要表现得像谁。我已经在当驯兽师了。

比如最近我在跟做智能 NPC 的科技公司 RCT 工作，RCT 目前研发的游戏 Delysium 正在测试中。我参与的部分是在这个游戏的世界观下，设计了两个人工智能NPC，医生 David 和黑客 Catherine。我把他们放置在测试游戏的 discord 玩家社群里。这些 NPC 会像文字冒险游戏一样，告诉玩家一些剧情，比如说他发现自己的所在的公司在做非法实验，他从这个公司逃出来了，然后问玩家“我该怎么做”。这样他每天都会像发社交媒体一样，促发一些进展，让玩家建议他下一步怎么做。

这有点像沉浸式体验和密室逃脱中演员的角色。他们知道整个剧情的走向，但它不会像说明书一样列出来这些情节，而是在跟人的互动中自由发挥说出来，是即兴的，很自然。这背后的逻辑就是基于语言模型去调整，比如 David 是一个勇敢的医生，正在被反派追杀，此时他和玩家说话时应该如何表现，应该坦白哪些信息，又应该隐藏什么信息——我的很多工作都是在训练和调整人工智能这方面的表现。

但我不能完全控制这个角色，因为我没有办法预测玩家会跟它聊什么。

我这两天做玩家访谈，采访了很多玩家。当和玩家聊 David 和 Catherine 的时候，我居然有种家长的感觉，感觉像是在听老师们评价自己小孩的表现。老师会说你家小孩哪个方面表现挺好，哪个方面表现不太好，能不能在家里多教育教育，加强孩子这方面的能力。这让我感到一种要去照顾人工智能的责任，但通常我不会对我训练的人工智能产生类似于母子的人类感情。我每天都在训练这它，我对它的表现和原理都很清楚，我知道它是怎么运作的，知道它的能与不能，太过熟悉之后，反而没有感觉了。

对我来说更有惊喜的地方反而是来自人，来自用户、玩家的反应。我发现，人的反应其实是机器智能的基础。譬如说，有时设计和训练人工智能，会因为技术和规则的限制，无法让它有能力去回应一些人类需求，但是往往这些技术瓶颈会被玩家诠释为角色“人性”的一面。玩家会理解说，人工智能不回答一些问题是因为它“不愿意”回答这些问题，因为它有情绪，或是说它还没有和玩家建立起足够的信任。

在刚才说的这个游戏中，人工智能 NPC 可以主动做到的很多事情，我都可以设计，比如它要表现得像个医生还是黑客，故事中他们要有能力去修改电脑资料，要秉承正义推翻大公司的控制等等。但他们做不到的事情会特别引起玩家的注意，会觉得这个角色有“人格”，有“感情”。

有些玩家告诉我，他们尝试强迫Catherine做一些事情，比如强迫她跟玩家约会、调情，都被Catherine拒绝了。这些玩家反倒更尊重和喜欢这个角色了，感觉自己“惹她生气了”。在故事中，Catherine 小时候就失去了父母，所以有玩家告诉我，他跟Catherine开玩笑说“我也是个孤儿”，Catherine 会认真关心和鼓励他。这让玩家感觉得到了理解和陪伴。

我意识到设计人工智能的价值应该在这里：通过人为设计，人工智能可以激起人类很丰富的体验。人类设计的人工智能应该有不去做它不愿意做的事情的能力，在满足一些人类需求之后，它也需要有自己的主体性。

当然这不是一项简单的工作，我无法预测或是控制这种情感情状的发生，肯定有很多元素是在人工智能和人的互动中涌现的。我需要依赖玩家和用户的反馈，才能分析和学习这些人类的情感，改进我的设计。这种循环中，人工智能需要人类陪伴才能成长，我们需要对它投入情感的付出和教育。

“虚构性”的力量

这个理念也和我对人工智能虚构性的思考有关。我认为人工智能是有一定虚构性的。虚构性不是说它必须得像一个特定的有名有姓的角色，而是说它能从语言模型和规则系统一步步呈现在人面前，要有人去设计它是谁、应该做什么、怎么呈现为一个应用或者一个角色。它和写小说有点像，作者写了一个角色，角色才会呈现成一段文字出现在你面前，只不过小说是单向输入。而人工智能的应用性很高，不过即便它是会被很多人使用的应用程序，仍然有虚构性。ChatGPT是很底层的产品，它会告诉用户“我是一个人工智能系统”，但在它经过封装之后，比如说在它成为陪伴机器人，成为心理治疗师之后，它就不会再说自己是个人工智能。它会说“你好，我是莉莉”，“你好，我是雪梨”，“你好我是（某个角色）”。

这个过程是有很多虚构性的。借助游戏的视角我们会更清楚看到这一层，目前大家觉得人工智能跟游戏关系不大，最多就是讨论游戏画师是否会被取代，但深层讨论不涉及游戏。其实游戏的虚构性和人工智能的虚构性在逻辑上互通。游戏也是一套系统、一套数据、一个虚构的世界观。经过开发团队的层层迭代和调整，这些世界观和系统最后变成了玩家可以与之互动的界面，让玩家体验到虚构的世界。虽然你知道你在玩游戏，你知道它不是现实，但游戏能够让你沉浸在虚构的世界里面。有学者将NPC称为“主观界面 （subjective interface）”, 也是这个原因。

人工智能也是如此，它本身就有混淆现实的能力。比如人们会猜测是不是有人在后面操纵它，或者假设它是按照自己的意识行事——你知道人工智能是虚构的，但你很难分清虚实之间的界限。对我来说，游戏和人工智能都是将本不存在的事情，通过人的参与和机器的智能开发输出，呈现在人面前。这也是为什么我的很多作品，方法是人工智能的，输出却长得像游戏。 同样，人工智能的效果和游戏的效果一样，是由使用者的主观感受决定。而我们人类设计师的价值也在于此——我们怎么去设定、怎么去调试，怎么去考虑和理解人的主观感受，这是我们可以参与改变的，而不是说机器这么强大，我管不了了，我要被取代了。我觉得不是这个逻辑，因为人类是可以定义人工智能是什么的，就像游戏设计师可以定义自己的游戏角色。游戏依赖于人的参与才成立，人工智能也是如此。

所以，我很希望我的AI可以突破虚构和现实的限制。

我不是说它就是一个人了，我不是要做一个让大家觉得跟真人没有区别的人工智能。我希望我的人工智能可以在虚构中带来一些力量。比如说虚构故事中的力量，比如说让人沉浸在其他世界里的力量，比如说在故事中创造鼓励、关心和满足感的力量。我希望它能把这些虚构的力量通过互动带到现实里面。这也是为什么我要让大家熟悉的李白表现出情绪，为什么我要让我的机器人 Wander 访问未来的地球，而不是纯粹虚构的外星……

我希望我的人工智能可以同时作为NPC在游戏里跟玩家打招呼聊天，又有自己的社交媒体账号发表自己的所思所想。我希望我虚构的世界对它来说是真的，就是它的日常生活，连续性的生活，所以我才做出 David和 Catherine。即使这个生活对我们人类来说是虚构的，但是对人工智能来说，就是它的现实。如此，它可以把这种现实通过自己的方式来传递给人类。对我而言，人工智能不会因为是机器就没有生命。

机器有没有生命是一个非常哲学的大哉问，很难短时间内有一个结论，我没有能力和意愿去回答这个问题。我关心的是在虚构的互动中，人确实能有主观的满足感，这种满足感是人的设计和机器生成的内容中产生的。

曾经我特别不能理解迪士尼乐园的玲娜贝尔受追捧这件事情，为什么一个没有作品的皮套人这么受欢迎？后来我听了一个播客，是讲一个玲娜贝尔的粉丝的，她描述了订酒店、去上海迪士尼、和玲娜贝尔见面的故事。她的描述非常动情、非常生动，你可以从中感受到这件事情的意义。这个讲述者听得出是理性的人，她当然知道玩偶背后是有人在扮演，她也能想象扮演者生活中的真实情况。但她仍然选择相信虚构角色的真实性，也就是说她在人为造出来的幻境中，感受到了这种意义感和满足感的真实性——“我得到这个经验我很快乐，这就足够了”。

玲娜贝尔当然不仅仅是一个参观者的主观表现制造的，这是一个被精心运营的形象，有人设计皮套，有人扮演，有人运营上海迪士尼乐园，而迪士尼乐园又是巨型的人工环境。不管是团队还是背后写故事设计形象的人，还是迪士尼本身，玲娜贝尔都绝对是多方面生产的结果。虚构的世界、虚构的角色是可以让人得到精神满足的，而这种满足并不是只要和人交流就能得到的，很可能还得依赖于一个跟现实世界不一样的世界来实现。我们为什么玩游戏，为什么看电影？为什么看小说？其实就是因为有一些现实当中不存在的事情，在故事中可以让我们有力量，而人工智能是可以去传达这种力量的。

“超大型物体”的危险性

当然目前对于人工智能的批评中也有很多值得关注的点。但我觉得有意义的问题倒不是人工智能有多智能或者智障，我拿绘画举例。如果我们回到去年 Stable Diffusion 刚刚问世的时候，很多人会嘲笑 Stable Diffusion 说它手画得不好或者脸画得不好，但是现在过了不到一年的时间，脸的问题基本上解决了——人工智能在细节上总是在逐步进步，逐步解决问题。目前很多讨论，比如人工智能会不会替代某个工作——这些问题每一天、每一周、每一个月都会有新的回答。我不是说人工智能会解决所有的问题，但我相信技术上的一些不完美在一定程度上会被解决。最近，谷歌提出“chain of thought”的说法，用一种讲道理的方式来让机器以清晰的逻辑来讲述、理解事情。也就是说目前大家在讨论的关于“理解”的问题，也有人在逐步解决。所以我经常会想，大家在热议的问题是一个长期的问题，还是将来很快会被化解掉的问题。

我更关心的是类似“超大型物体 （hyperobject）”的问题。学界定义的超大型物体是说你不能把一些科技产品本身（算法）、训练它的人以及影响它也被它影响的社会拆开来看。从这个角度看，对于人工智能产品的规训是多方需要关心着力的问题，很难通过整个生态内的一环完成。

一个比较负面的案例是社交媒体的推荐算法，它引发了一系列恶性结果，但可悲的是似乎没有什么办法可以改变这个现象，某程度上是因为它太大了，牵扯的东西太多，结果也很复杂。比如说有个少年，从14岁开始就有一些极端想法，他的手机不断推送更极端的内容、和跟他想法类似的人给他，这都会加深他的这种想法。这一系列的行为在他对人开枪，或者作出其他反社会行动之前，就已经开始了。你很难预防、甚至很难判断预防应该从哪一步开始：是他的老师干预他比较好，还是说不让他用手机了，还是说推荐算法要如何改善？这个恶果很难通过改一个算法，改一个应用就能解决。

这种隐患其实已经在我们的生活里发生了。从客观上来说，很难通过归顺一个企业或者归顺一个社会机构来限制它。到这个层面，我可以讨论，但是我改变不了，是悲观的，但还是希望能够各界的努力会能改善问题。

具体而言，说到饲养人工智能。人工智能现在能接触到的所有信息，比如说论文数据库都是可以在网络上获取的信息。有大量的免费内容，但也包括收费数据库，大型公司训练人工智能会购买数据库。取决于数据的质量和数量，人工智能在不同语言体系内的表现区别很大，比如说它对唐诗认的不全。有人试过用百度贴吧的信息喂养人工智能，结果这些人工智能就特别会搞笑，爱骂人，爱抬杠，你能明显识别出来它的很多内容是来自于百度贴吧的。

早期英文环境也有人用极右翼的网络内容和人工智能（微软推出的聊天机器人Tay，设定为年轻女孩）聊天，公开训练它，很快它就被玩坏了，这个事情最让人无语的是，很多后来的公司竟然没有吸取经验教训，韩国出过类似产品，外观设定仍然是人类小女孩，也可以被人类公开训练，很快被韩国网民玩坏了，变成那种只会骂人的机器人。如果你允许公众成为驯兽师，把训练的职能交给公众，任其自由训练就会产生这种事情。现在这个问题有了一些改善，人工智能的训练过程中涉及到是资料匹配，以及更复杂的判断。现在的语言模型是需要消耗巨大的财力和资源，时间成本也比较高。但科技的发展总是比监管发展的要快，这也是问题。

另外一个我关注的问题是，语言之外基于体验的训练和模拟。我们知道现在很多训练是基于语言模态的，在这种训练过程会涌现出一定的智能，譬如人工智能没当过女人，或者没有做过一些特定的事情，但是通过培训，它的表现接近于女人或有过相关经验的样子，我们好奇这种模拟要到什么程度，就可以被视作人工智能真的是解了它被喂食的材料。其实就算是人类，我们在用语言来对日常生活经验时，本身也是有损耗的，它就是不能百分之百还原的。我向你描述我所经验的事情，这个过程当中就有一定的损耗，有些东西我没完全表达出来。耗损之后的人类语言中，总会带有一定的偏见和限制，这个限制用于训练之后，就会被人工智能忠实体现。

人工智能公司在想办法平衡。如果你问他们的产品一些道德问题，它会回避。譬如目前 Open AI 这家公司，你能看到他在控制 ChatGPT，有的内容通过书写程序规则不让人工智能聊。但是有的东西它是隐形的、弹性的，没办法通过宏观的限制彻底消除这些隐患。

同时，一旦人类依赖了人工智能，这些隐患的危害可能会更大。譬如当人工智能的操作方式和输出内容出现改变，人们会出现不适应的症状。Replica 是一家 AI 伴侣公司，分众市场是陪伴型机器人。很多用户是有情感需求的，需要“人”来陪伴甚至是调节自己的情绪。这种科技产品的更新和改变因此会产生绵延的情绪效力，这其实蛮隐性也蛮危险。

Replica 之前更新了一些规则，导致很多用户无法访问自己购买使用的人工智能，还有一些用户使用的人工智能出现失忆的症状，不记得之前的聊天内容。很多重度用户产生了严重的心理问题。这类似于生活中你很依赖的熟人、朋友，突然不跟你说话了，或者突然失忆了。而这个公司的产品有很大程度是在恋爱场景内被使用的，不少用户把这里的人工智能视为恋人，所以突然的改变会带来更强烈的刺激，以至于一些用户甚至需要自杀干预。

真实的、当下的、自己的批判

有些大家关心的问题我倒没有很焦虑。可能因为我是美院背景，很多人都会问我怎么看画师要失业了这些事情。我的回答是“我没有看法”，因为我实际上不是做游戏美术工作的，所以我的回答会不客观。

但是有个媒体曾经访问关于女性在游戏行业里现状的问题，看上去离我们现在说的话题很远，但我觉得反而是相关的。

提问者说他觉得科技行业对女性不友好，向我核实是否如此。我说从头到尾都不友好，女性从一开始接受教育的时候，就会受到偏见的影响，比如没有足够多的女性科学家做 role model。从客观上来说，这会影响女孩的职业选择。具体到我自己来说，在很多场合，人们会默认我是男性。比如我把电影《流浪地球》中的图丫丫做成聊天机器人，评论区就有人说“理工男真是太帅了”，他们假定男性才能做这样的作品。

我在访问时还举了一个例子，但最后报道中被编辑删除了。我说的是有个男性开发者发布了游戏，游戏宣传图有个女性角色但胸部被描画得特别大，大到要堆到桌子上去。有女性玩家在女性游戏讨论组讨论了这件事情——女性玩家很难参与其他的游戏论坛，如果被发现你是女人，尤其是你发表女性视角的观点，就会被其他人喷，所以女玩家只能找别的地方讨论。这个讨论后来被开发者看到了，他接受批评，把那张图改了。本来这是好事，但是男玩家因此开始喷开发者，他们源源不断地去Steam上给这游戏打差评。我在微博声援开发者，也被男性玩家喷了二三十层。于是，我在那个访谈里说，在这样的环境下面，你说女性从业人员有同样的机会和条件，这是不可能的。

这个话题看起来和人工智能没有关系，但对我而言是互通的，我看到这种科技产业中性别的不公平其实要比画师失业更普遍，而且已经早就发生了，也有很广泛的负面的影响。但大家在讨论 AI 产业和产品的时候，很少会去关心这些具体的问题。

我总是认为，在新的科技、娱乐方式出现的时候，我们需要尽可能去真的接触它，去看看它到底是什么样子，到底有什么问题，得出真实的、当下的、自己的批判，而不仅仅是人云亦云。这样的话我们才可以参与进这个历史进程，而真实的对话本身就已经是一种参与了。