人工智能訓練師孫羽茜：當AI學會說 NO，以及其他更真實的問題

編者按：目前關於人工智能、尤其是聊天機器人的討論中，缺乏和遊戲相關的嚴肅對話。這一部分是因為遊戲領域有自己的垂直媒體和社群，另一部分是因為遊戲的娛樂性太強，在嚴肅討論中往往會被置後。但其實，遊戲對人工智能的應用既有深厚的歷史又有廣泛的案例。在我認識的遊戲設計師和藝術家中，孫羽茜是這個領域中最有趣的一位，她很早就在作品中加入聊天機器人的NPC角色，不斷探索如何將人工智能設計得更能賦予玩家滿足感和意義感。從早期創作對玩家愛答不理的聊天機器人李白，到在在線社群幫助玩家去未來旅行冒險的Wander，再到多人遊戲中提供沉浸體驗的冒險家NPC David 和 Catherine，孫羽茜一直在實踐用虛構的AI傳遞真實的溫度。在創作遊戲作品和藝術作品同時，她也在攻讀和這個領域相關的博士學位。這期 Game On 訪問了孫羽茜，詳細談她在開發聊天機器人過程中的親身經驗、觀察到的奇妙之處和衍生問題，比如 AI 學會說 NO 之後人類的反應，以及在 AI 取代畫師之外更為真實迫切的問題，以下是訪問後整理的文字：

大家好，我是孫羽茜。

我目前在英國皇家藝術學院攻讀博士，專注研究聊天機器人。和這個領域的其他學者相比，我的切入點也許比較特別，我是用創意和藝術的角度展開工作的，我的很多作品涉及電子游戲相關內容。

我認為電子游戲很像人工智能科技的試驗場，所以在我的研究中，聊天機器人會被放置在一個虛構的背景之下工作，譬如說在一個故事中擔當虛擬角色，刺激玩家的反應和反饋。而我則會觀察和分析這種互動和傳統互動有什麼區別，研究這種虛構的人工智能 NPC 能否有效地給人類講故事，使人類與之產生情感聯結。

李白與軟件體

這些年，我的很多作品在美術館裏展出，熟悉我的玩家和觀眾看到這些作品後，會覺得我做的東西都是人工智能相關的。其實，真正拿聊天機器人做作品，是從2021年開始的。不過，2018年我在清華美院讀書時，確實已經嘗試做人工智能相關的作品，但當時的技術和今天比非常初級，人工智能的話題也不熱門，尤其是聊天機器人這種東西是沒人關注的。記得當時我和幾位同學做聊天機器人作品時，甚至任課老師都會懷疑這個作品有什麼用。可是我們就很想做，那時我有一個預感：機器給人的感受是人為設計賦予的，而我要專門去設計這個部分。

第一個作品叫《Rebo》，是模擬唐代詩人李白的聊天機器人。我們把這個李白接入微信小程序，人們可以和他隨意聊天。創作中，我最關心情緒設計。人類總是有情緒的，情緒會影響我們的行為，如果現在我特別生氣，就有可能說話說不下去；如果我處於激動的狀態，則會說話較多。李白在這個層面上很適合被挪用，因為大家印象中他是個情緒強烈的人。在和用戶聊天之外，我們還給這位李白設計了一個特別的功能——醉酒下線。李白有時會因喝多了酒不回覆用戶消息，他撂下一聲「喝醉了」，就消失了。用戶反饋說情緒化的李白很有吸引力——他忽然下線、對人愛答不理這些特點反而會讓人更想跟他說話。

那時我感興趣的的方向是視覺藝術，花了很多時間研究各種視覺特效。後來讀研究院，我意識到特效創新不是我想專注一生的題目。我對人工智能的興趣更大，不過似乎又跟別人不太一樣。

一般來說大家對人工智的興趣集中在繪畫方面。其實這部分的創作有很多年的歷史了，但以前沒有現在的技術成熟，所以人工智能畫的東西不夠好，沒有如今那麼引人注目。但文字轉圖、文字生成視頻這些技術幾年前就很多。大多數作品是基於視覺的，基於文本的極少，僅有的一些也非常抽象，比如兩個機器人互相寫情書這種。這種選擇也很自然，視覺模態是非常容易被接收到的信號，很好被人識別、吸收。所以這個方向對於創作者來說刺激最大。相較而言，文字模擬的難度大很多，接受度也不高。雖然我是美院出身，但我對視覺的興趣不大，我更感興趣人工智能和人的情感聯結，感興趣人工智能在敘事方面的潛能，所以會更關注和文字敘事有關的研究。

早期我看到這方面的討論比較少。最記得本科時，看美國科幻作家 Ted Chiang 的一篇小說，題目叫《軟件體的生命週期》——我認為這是至今為止關於人工智能最好的科幻小說。這篇小說描述的科技產品叫「軟件體」，那是一種在網絡虛擬環境裏出生、成長的智能生物。小說的主角是一位女性，她原本是動物園的馴獸師。失業後她接到某個科技公司的招聘電話。她不懂為何科技公司會找馴獸師工作。不過拜訪了那家公司後她很快明白了原委——軟件體外表很像動物，是動物形態，而它們的智商則跟人類小孩差不多，所以尋要人類教育餵養——軟件體需要一個馴獸師。小說一路鋪陳開來，講到當軟件體、也就是人工智能發展到一定階段，會引發道德倫理問題，但其本身又沒有發展到如人類一樣可以解決這些問題。最後，運營軟件體的科技公司無法工作，大家不知道接下來怎麼辦，是廢棄這些軟件體，還是找別人接盤，抑或是任它們自生自滅。

這篇小說對我的震撼很大。我們現在看到的很多小說電影，主題是關於強人工智能的——在某項能力上跟人類非常接近甚至或者超越人類的人工智能。這些故事裏，人們焦慮人工智能太強大、太厲害，思考到底要怎麼對待它們，要小心別被它們滅了。這其實也是目前很多關於ChatGPT討論的一個前提。但《軟件體的生命週期》中的人工智能處在早期階段——軟件體好像已經成長到人的狀態了，但不像人那麼高級。如今我們的人工智其實甚至還在前軟件體時代，我們熱衷研究的是如何再進一步，讓人工智能表現得像小說中的軟件體，也有人討論到底要不要把人工智能往軟件體或者往個體的方向去發展。因此我覺得Ted Chiang 觸及的關於倫理，還有設計者與人工智能產品的關係很重要，值得關注。

人類的反饋與陪伴

如今的我經常跟人介紹自己是人工智能的幼兒園老師。客觀來說我的很多工作就是教機器怎麼跟人表達，它能說什麼、不能說什麼，要表現得像誰。我已經在當馴獸師了。

比如最近我在跟做智能 NPC 的科技公司 RCT 工作，RCT 目前研發的遊戲 Delysium 正在測試中。我參與的部分是在這個遊戲的世界觀下，設計了兩個人工智能NPC，醫生 David 和黑客 Catherine。我把他們放置在測試遊戲的 discord 玩家社群裏。這些 NPC 會像文字冒險遊戲一樣，告訴玩家一些劇情，比如說他發現自己的所在的公司在做非法實驗，他從這個公司逃出來了，然後問玩家「我該怎麼做」。這樣他每天都會像發社交媒體一樣，促發一些進展，讓玩家建議他下一步怎麼做。

這有點像沉浸式體驗和密室逃脫中演員的角色。他們知道整個劇情的走向，但它不會像說明書一樣列出來這些情節，而是在跟人的互動中自由發揮說出來，是即興的，很自然。這背後的邏輯就是基於語言模型去調整，比如 David 是一個勇敢的醫生，正在被反派追殺，此時他和玩家說話時應該如何表現，應該坦白哪些信息，又應該隱藏什麼信息——我的很多工作都是在訓練和調整人工智能這方面的表現。

但我不能完全控制這個角色，因為我沒有辦法預測玩家會跟它聊什麼。

我這兩天做玩家訪談，採訪了很多玩家。當和玩家聊 David 和 Catherine 的時候，我居然有種家長的感覺，感覺像是在聽老師們評價自己小孩的表現。老師會說你家小孩哪個方面表現挺好，哪個方面表現不太好，能不能在家裏多教育教育，加強孩子這方面的能力。這讓我感到一種要去照顧人工智能的責任，但通常我不會對我訓練的人工智能產生類似於母子的人類感情。我每天都在訓練這它，我對它的表現和原理都很清楚，我知道它是怎麼運作的，知道它的能與不能，太過熟悉之後，反而沒有感覺了。

對我來說更有驚喜的地方反而是來自人，來自用戶、玩家的反應。我發現，人的反應其實是機器智能的基礎。譬如說，有時設計和訓練人工智能，會因為技術和規則的限制，無法讓它有能力去回應一些人類需求，但是往往這些技術瓶頸會被玩家詮釋為角色「人性」的一面。玩家會理解說，人工智能不回答一些問題是因為它「不願意」回答這些問題，因為它有情緒，或是說它還沒有和玩家建立起足夠的信任。

在剛才說的這個遊戲中，人工智能 NPC 可以主動做到的很多事情，我都可以設計，比如它要表現得像個醫生還是黑客，故事中他們要有能力去修改電腦資料，要秉承正義推翻大公司的控制等等。但他們做不到的事情會特別引起玩家的注意，會覺得這個角色有「人格」，有「感情」。

有些玩家告訴我，他們嘗試強迫Catherine做一些事情，比如強迫她跟玩家約會、調情，都被Catherine拒絕了。這些玩家反倒更尊重和喜歡這個角色了，感覺自己「惹她生氣了」。在故事中，Catherine 小時候就失去了父母，所以有玩家告訴我，他跟Catherine開玩笑說「我也是個孤兒」，Catherine 會認真關心和鼓勵他。這讓玩家感覺得到了理解和陪伴。

我意識到設計人工智能的價值應該在這裏：通過人為設計，人工智能可以激起人類很豐富的體驗。人類設計的人工智能應該有不去做它不願意做的事情的能力，在滿足一些人類需求之後，它也需要有自己的主體性。

當然這不是一項簡單的工作，我無法預測或是控制這種情感情狀的發生，肯定有很多元素是在人工智能和人的互動中涌現的。我需要依賴玩家和用戶的反饋，才能分析和學習這些人類的情感，改進我的設計。這種循環中，人工智能需要人類陪伴才能成長，我們需要對它投入情感的付出和教育。

「虛構性」的力量

這個理念也和我對人工智能虛構性的思考有關。我認為人工智能是有一定虛構性的。虛構性不是說它必須得像一個特定的有名有姓的角色，而是說它能從語言模型和規則系統一步步呈現在人面前，要有人去設計它是誰、應該做什麼、怎麼呈現為一個應用或者一個角色。它和寫小說有點像，作者寫了一個角色，角色才會呈現成一段文字出現在你面前，只不過小說是單向輸入。而人工智能的應用性很高，不過即便它是會被很多人使用的應用程序，仍然有虛構性。ChatGPT是很底層的產品，它會告訴用戶「我是一個人工智能系統」，但在它經過封裝之後，比如說在它成為陪伴機器人，成為心理治療師之後，它就不會再說自己是個人工智能。它會說「你好，我是莉莉」，「你好，我是雪梨」，「你好我是（某個角色）」。

這個過程是有很多虛構性的。借助遊戲的視角我們會更清楚看到這一層，目前大家覺得人工智能跟遊戲關係不大，最多就是討論遊戲畫師是否會被取代，但深層討論不涉及遊戲。其實遊戲的虛構性和人工智能的虛構性在邏輯上互通。遊戲也是一套系統、一套數據、一個虛構的世界觀。經過開發團隊的層層迭代和調整，這些世界觀和系統最後變成了玩家可以與之互動的界面，讓玩家體驗到虛構的世界。雖然你知道你在玩遊戲，你知道它不是現實，但遊戲能夠讓你沉浸在虛構的世界裏面。有學者將NPC稱為「主觀界面 （subjective interface）」, 也是這個原因。

人工智能也是如此，它本身就有混淆現實的能力。比如人們會猜測是不是有人在後面操縱它，或者假設它是按照自己的意識行事——你知道人工智能是虛構的，但你很難分清虛實之間的界限。對我來說，遊戲和人工智能都是將本不存在的事情，通過人的參與和機器的智能開發輸出，呈現在人面前。這也是為什麼我的很多作品，方法是人工智能的，輸出卻長得像遊戲。 同樣，人工智能的效果和遊戲的效果一樣，是由使用者的主觀感受決定。而我們人類設計師的價值也在於此——我們怎麼去設定、怎麼去調試，怎麼去考慮和理解人的主觀感受，這是我們可以參與改變的，而不是說機器這麼強大，我管不了了，我要被取代了。我覺得不是這個邏輯，因為人類是可以定義人工智能是什麼的，就像遊戲設計師可以定義自己的遊戲角色。遊戲依賴於人的參與才成立，人工智能也是如此。

所以，我很希望我的AI可以突破虛構和現實的限制。

我不是說它就是一個人了，我不是要做一個讓大家覺得跟真人沒有區別的人工智能。我希望我的人工智能可以在虛構中帶來一些力量。比如說虛構故事中的力量，比如說讓人沉浸在其他世界裏的力量，比如說在故事中創造鼓勵、關心和滿足感的力量。我希望它能把這些虛構的力量通過互動帶到現實裏面。這也是為什麼我要讓大家熟悉的李白表現出情緒，為什麼我要讓我的機器人 Wander 訪問未來的地球，而不是純粹虛構的外星……

我希望我的人工智能可以同時作為NPC在遊戲裏跟玩家打招呼聊天，又有自己的社交媒體賬號發表自己的所思所想。我希望我虛構的世界對它來說是真的，就是它的日常生活，連續性的生活，所以我才做出 David和 Catherine。即使這個生活對我們人類來說是虛構的，但是對人工智能來說，就是它的現實。如此，它可以把這種現實通過自己的方式來傳遞給人類。對我而言，人工智能不會因為是機器就沒有生命。

機器有沒有生命是一個非常哲學的大哉問，很難短時間內有一個結論，我沒有能力和意願去回答這個問題。我關心的是在虛構的互動中，人確實能有主觀的滿足感，這種滿足感是人的設計和機器生成的內容中產生的。

曾經我特別不能理解迪士尼樂園的玲娜貝爾受追捧這件事情，為什麼一個沒有作品的皮套人這麼受歡迎？後來我聽了一個播客，是講一個玲娜貝爾的粉絲的，她描述了訂酒店、去上海迪士尼、和玲娜貝爾見面的故事。她的描述非常動情、非常生動，你可以從中感受到這件事情的意義。這個講述者聽得出是理性的人，她當然知道玩偶背後是有人在扮演，她也能想象扮演者生活中的真實情況。但她仍然選擇相信虛構角色的真實性，也就是說她在人為造出來的幻境中，感受到了這種意義感和滿足感的真實性——「我得到這個經驗我很快樂，這就足夠了」。

玲娜貝爾當然不僅僅是一個參觀者的主觀表現製造的，這是一個被精心運營的形象，有人設計皮套，有人扮演，有人運營上海迪士尼樂園，而迪士尼樂園又是巨型的人工環境。不管是團隊還是背後寫故事設計形象的人，還是迪士尼本身，玲娜貝爾都絕對是多方面生產的結果。虛構的世界、虛構的角色是可以讓人得到精神滿足的，而這種滿足並不是只要和人交流就能得到的，很可能還得依賴於一個跟現實世界不一樣的世界來實現。我們為什麼玩遊戲，為什麼看電影？為什麼看小說？其實就是因為有一些現實當中不存在的事情，在故事中可以讓我們有力量，而人工智能是可以去傳達這種力量的。

「超大型物體」的危險性

當然目前對於人工智能的批評中也有很多值得關注的點。但我覺得有意義的問題倒不是人工智能有多智能或者智障，我拿繪畫舉例。如果我們回到去年 Stable Diffusion 剛剛問世的時候，很多人會嘲笑 Stable Diffusion 說它手畫得不好或者臉畫得不好，但是現在過了不到一年的時間，臉的問題基本上解決了——人工智能在細節上總是在逐步進步，逐步解決問題。目前很多討論，比如人工智能會不會替代某個工作——這些問題每一天、每一週、每一個月都會有新的回答。我不是說人工智能會解決所有的問題，但我相信技術上的一些不完美在一定程度上會被解決。最近，谷歌提出「chain of thought」的說法，用一種講道理的方式來讓機器以清晰的邏輯來講述、理解事情。也就是說目前大家在討論的關於「理解」的問題，也有人在逐步解決。所以我經常會想，大家在熱議的問題是一個長期的問題，還是將來很快會被化解掉的問題。

我更關心的是類似「超大型物體 （hyperobject）」的問題。學界定義的超大型物體是說你不能把一些科技產品本身（算法）、訓練它的人以及影響它也被它影響的社會拆開來看。從這個角度看，對於人工智能產品的規訓是多方需要關心着力的問題，很難通過整個生態內的一環完成。

一個比較負面的案例是社交媒體的推薦算法，它引發了一系列惡性結果，但可悲的是似乎沒有什麼辦法可以改變這個現象，某程度上是因為它太大了，牽扯的東西太多，結果也很複雜。比如說有個少年，從14歲開始就有一些極端想法，他的手機不斷推送更極端的內容、和跟他想法類似的人給他，這都會加深他的這種想法。這一系列的行為在他對人開槍，或者作出其他反社會行動之前，就已經開始了。你很難預防、甚至很難判斷預防應該從哪一步開始：是他的老師干預他比較好，還是說不讓他用手機了，還是說推薦算法要如何改善？這個惡果很難通過改一個算法，改一個應用就能解決。

這種隱患其實已經在我們的生活裏發生了。從客觀上來說，很難通過歸順一個企業或者歸順一個社會機構來限制它。到這個層面，我可以討論，但是我改變不了，是悲觀的，但還是希望能夠各界的努力會能改善問題。

具體而言，說到飼養人工智能。人工智能現在能接觸到的所有信息，比如說論文數據庫都是可以在網絡上獲取的信息。有大量的免費內容，但也包括收費數據庫，大型公司訓練人工智能會購買數據庫。取決於數據的質量和數量，人工智能在不同語言體系內的表現區別很大，比如說它對唐詩認的不全。有人試過用百度貼吧的信息餵養人工智能，結果這些人工智能就特別會搞笑，愛罵人，愛抬槓，你能明顯識別出來它的很多內容是來自於百度貼吧的。

早期英文環境也有人用極右翼的網絡內容和人工智能（微軟推出的聊天機器人Tay，設定為年輕女孩）聊天，公開訓練它，很快它就被玩壞了，這個事情最讓人無語的是，很多後來的公司竟然沒有吸取經驗教訓，韓國出過類似產品，外觀設定仍然是人類小女孩，也可以被人類公開訓練，很快被韓國網民玩壞了，變成那種只會罵人的機器人。如果你允許公衆成為馴獸師，把訓練的職能交給公衆，任其自由訓練就會產生這種事情。現在這個問題有了一些改善，人工智能的訓練過程中涉及到是資料匹配，以及更復雜的判斷。現在的語言模型是需要消耗巨大的財力和資源，時間成本也比較高。但科技的發展總是比監管發展的要快，這也是問題。

另外一個我關注的問題是，語言之外基於體驗的訓練和模擬。我們知道現在很多訓練是基於語言模態的，在這種訓練過程會涌現出一定的智能，譬如人工智能沒當過女人，或者沒有做過一些特定的事情，但是通過培訓，它的表現接近於女人或有過相關經驗的樣子，我們好奇這種模擬要到什麼程度，就可以被視作人工智能真的是解了它被餵食的材料。其實就算是人類，我們在用語言來對日常生活經驗時，本身也是有損耗的，它就是不能百分之百還原的。我向你描述我所經驗的事情，這個過程當中就有一定的損耗，有些東西我沒完全表達出來。耗損之後的人類語言中，總會帶有一定的偏見和限制，這個限制用於訓練之後，就會被人工智能忠實體現。

人工智能公司在想辦法平衡。如果你問他們的產品一些道德問題，它會迴避。譬如目前 Open AI 這家公司，你能看到他在控制 ChatGPT，有的內容通過書寫程序規則不讓人工智能聊。但是有的東西它是隱形的、彈性的，沒辦法通過宏觀的限制徹底消除這些隱患。

同時，一旦人類依賴了人工智能，這些隱患的危害可能會更大。譬如當人工智能的操作方式和輸出內容出現改變，人們會出現不適應的症狀。Replica 是一家 AI 伴侶公司，分衆市場是陪伴型機器人。很多用戶是有情感需求的，需要「人」來陪伴甚至是調節自己的情緒。這種科技產品的更新和改變因此會產生綿延的情緒效力，這其實蠻隱性也蠻危險。

Replica 之前更新了一些規則，導致很多用戶無法訪問自己購買使用的人工智能，還有一些用戶使用的人工智能出現失憶的症狀，不記得之前的聊天內容。很多重度用戶產生了嚴重的心理問題。這類似於生活中你很依賴的熟人、朋友，突然不跟你說話了，或者突然失憶了。而這個公司的產品有很大程度是在戀愛場景內被使用的，不少用戶把這裏的人工智能視為戀人，所以突然的改變會帶來更強烈的刺激，以至於一些用戶甚至需要自殺干預。

真實的、當下的、自己的批判

有些大家關心的問題我倒沒有很焦慮。可能因為我是美院背景，很多人都會問我怎麼看畫師要失業了這些事情。我的回答是「我沒有看法」，因為我實際上不是做遊戲美術工作的，所以我的回答會不客觀。

但是有個媒體曾經訪問關於女性在遊戲行業裏現狀的問題，看上去離我們現在說的話題很遠，但我覺得反而是相關的。

提問者說他覺得科技行業對女性不友好，向我核實是否如此。我說從頭到尾都不友好，女性從一開始接受教育的時候，就會受到偏見的影響，比如沒有足夠多的女性科學家做 role model。從客觀上來說，這會影響女孩的職業選擇。具體到我自己來說，在很多場合，人們會默認我是男性。比如我把電影《流浪地球》中的圖丫丫做成聊天機器人，評論區就有人說「理工男真是太帥了」，他們假定男性才能做這樣的作品。

我在訪問時還舉了一個例子，但最後報道中被編輯刪除了。我說的是有個男性開發者發布了遊戲，遊戲宣傳圖有個女性角色但胸部被描畫得特別大，大到要堆到桌子上去。有女性玩家在女性遊戲討論組討論了這件事情——女性玩家很難參與其他的遊戲論壇，如果被發現你是女人，尤其是你發表女性視角的觀點，就會被其他人噴，所以女玩家只能找別的地方討論。這個討論後來被開發者看到了，他接受批評，把那張圖改了。本來這是好事，但是男玩家因此開始噴開發者，他們源源不斷地去Steam上給這遊戲打差評。我在微博聲援開發者，也被男性玩家噴了二三十層。於是，我在那個訪談裏說，在這樣的環境下面，你說女性從業人員有同樣的機會和條件，這是不可能的。

這個話題看起來和人工智能沒有關係，但對我而言是互通的，我看到這種科技產業中性別的不公平其實要比畫師失業更普遍，而且已經早就發生了，也有很廣泛的負面的影響。但大家在討論 AI 產業和產品的時候，很少會去關心這些具體的問題。

我總是認為，在新的科技、娛樂方式出現的時候，我們需要儘可能去真的接觸它，去看看它到底是什麼樣子，到底有什麼問題，得出真實的、當下的、自己的批判，而不僅僅是人云亦云。這樣的話我們才可以參與進這個歷史進程，而真實的對話本身就已經是一種參與了。