「AI伴侶」正在井噴式增長，成癮問題與潛在影響令人擔憂｜Whatsnew

10月22日，賈西亞（Megan Garcia）正式向美國奧克蘭多聯邦法院起訴，指控 AI 公司 Character.AI 不當致死、過失和故意造成精神痛苦等，並要求法院裁定不詳的補償性和懲罰性賠償。

此前，她的兒子，14歲的賽澤爾（Sewell Setzer）在2月自殺，死前正在與 Character.AI 公司提供的 AI 機器人對話。

根據賈西亞提交的法庭文件指控，賽澤爾數月來沈迷於與 Character. AI 公司的機器人丹妮（Dany）交流。賈西亞指賽澤爾在現實生活中越來越孤僻，並每天花數個小時與丹妮交談。

在交談中，賽澤爾曾提到他「討厭自己」又承認自己有自殺的念頭，丹妮則要他「別那樣說話」，指自己不會「讓你傷害你自己」。不過，賽澤爾自殺當天對丹尼表示他愛她並將很快「回到你身邊」，而丹妮則表示「親愛的，請盡快回到我身邊。」

賈西亞指「數秒後」賽澤爾就自殺了，她因此指控 Character.AI 公司收集青少年用戶的數據來訓練其模型，並使用「令人上癮的設計功能」來引導用戶進行親密和性對話。

Character.AI 公司成立於2021年，由前 Google AI 的開發人員諾姆·沙澤爾（Noam Shazeer）與丹尼爾·德弗雷塔斯（Daniel De Freitas）共同創辦，旨在為用戶提供一個 AI 驅動的聊天「伴侶」。用戶可在該平台創建自己想要的「角色」、塑造該角色的個性並與之對話。截至2024年1月，該網站每天有350萬訪客，其中絕大多數在16至30歲之間。

實際上，類似於 Character.AI 之類的 AI 伴侶正在蓬勃發展，並成為 AI 產業中不可忽視的可盈利項目之一。

科技風投公司安德里森·霍羅威茨（Andreessen Horowitz，a16z）的統計數據顯示，2024年訪問量達前50的 AI 產品中，AI 伴侶佔了8個，而其每月平均用戶會話是其他 AI 產品的10倍以上。

a16z 又提及，上榜的8個 AI 伴侶中有6個宣稱自己「未經審查」，即平台不會審查用戶與 AI 的對話，也不會限制 AI 與用戶的聊天內容。實際上，最早出名的類似產品 Replika 就以其平台上大量的成人內容與 AI 色情角色扮演著稱。

BBC 報導指，在 Character.AI 有大量「心理治療師」的「角色」存在，並受到熱烈歡迎。一個名為「心理學家」的角色截至2024年1月已經生成了7800萬條訊息。儘管 Character.AI 強調大量用戶對扮演虛擬角色更感興趣，但諾姆·沙澤爾亦承認自己開發的產品「對許多孤獨或憂鬱的人來說將會非常非常有幫助」。2024年1月刊登於《自然》（Nature）的一份研究亦指出，有3%的 Replika 使用者因為使用 Replika 而放棄了自殺。 

不過，許多人認為，賽澤爾的死亡正反應了類似的 AI 伴侶的陰暗面。

斯坦福大學（史丹佛大學）人工智能研究所（HAI）研究員貝瑟妮·梅普爾斯（Bethanie Maples）表示，有證據表明對沒有強大社會支持網絡的孤獨者來說，AI 伴侶可以成為他們的「生命線」；但對憂鬱和長期孤獨的用戶以及正在經歷變化的人來說，AI 伴侶是危險的。

一篇刊登於《社會科技》（Technology in Society）的研究指出，「生成式 AI 的四個特徵，包括感知擬人化、感知互動性、感知智能和感知個性化，會影響心流體驗和依戀，而這兩者都會進一步導致成癮。」

《麻省理工科技評論》（MIT Technology Review）的一篇評論進一步指出， AI 非常擅長讓人們感到被傾聽，而且以人類無法提供的方式提供始終可用、始終積極的反饋。「研究表明，那些認為或希望 AI 具有關懷動機的人」更容易成癮，因為他們更容易陷入某種「情感的回音室」之中。文章呼籲採取進一步措施加強監管這類 AI。

不過，該篇文章也指出，監管干預也可能無意中懲罰那些需要陪伴的人，或者可能導致 AI 提供者轉向去中心化的國際市場中更有利的司法管轄區。同時，諸如孤獨等更大問題仍須解決，監管也不能取代這方面的努力。