“AI伴侣”正在井喷式增长，成瘾问题与潜在影响令人担忧｜Whatsnew

10月22日，贾西亚（Megan Garcia）正式向美国奥克兰多联邦法院起诉，指控AI公司 Character.AI 不当致死、过失和故意造成精神痛苦等，并要求法院裁定不详的补偿性和惩罚性赔偿。

此前，她的儿子，14岁的赛泽尔（Sewell Setzer）在2月自杀，死前正在与 Character.AI 公司提供的 AI 机器人对话。

根据贾西亚提交的法庭文件指控，赛泽尔数月来沉迷于与 Character. AI 公司的机器人丹妮（Dany）交流。 贾西亚指赛泽尔在现实生活中越来越孤僻，并每天花数个小时与丹妮交谈。

在交谈中，赛泽尔曾提到他“讨厌自己”又承认自己有自杀的念头，丹妮则要他“别那样说话”，指自己不会“让你伤害你自己”。 不过，赛泽尔自杀当天对丹尼表示他爱她并将很快“回到你身边”，而丹妮则表示“亲爱的，请尽快回到我身边。”

贾西亚指“数秒后”赛泽尔就自杀了，她因此指控 Character.AI 公司收集青少年用户的数据来训练其模型，并使用“令人上瘾的设计功能”来引导用户进行亲密和性对话。

Character.AI 公司成立于2021年，由前 Google AI 的开发人员诺姆·沙泽尔（Noam Shazeer）与丹尼尔·德弗雷塔斯（Daniel De Freitas）共同创办，旨在为用户提供一个 AI 驱动的聊天“伴侣”。用户可在该平台创建自己想要的“角色”、塑造该角色的个性并与之对话。截至2024年1月，该网站每天有350万访客，其中绝大多数在16至30岁之间。

实际上，类似于 Character.AI 之类的 AI 伴侣正在蓬勃发展，并成为 AI 产业中不可忽视的可盈利项目之一。

科技风投公司安德里森·霍罗威茨（Andreessen Horowitz，a16z）的统计数据显示，2024年访问量达前50的 AI 产品中，AI 伴侣占了8个，而其每月平均用户会话是其他 AI 产品的10倍以上。

a16z 又提及，上榜的8个 AI 伴侣中有6个宣称自己“未经审查”，即平台不会审查用户与 AI 的对话，也不会限制 AI 与用户的聊天内容。实际上，最早出名的类似产品 Replika 就以其平台上大量的成人内容与 AI 色情角色扮演著称。

BBC报导指，在 Character.AI 有大量“心理治疗师”的“角色”存在，并受到热烈欢迎。一个名为“心理学家”的角色截至2024年1月已经生成了7800万条讯息。尽管 Character.AI 强调大量用户对扮演虚拟角色更感兴趣，但诺姆·沙泽尔亦承认自己开发的产品“对许多孤独或忧郁的人来说将会非常非常有帮助”。2024年1月刊登于《自然》（Nature）的一份研究亦指出，有3%的 Replika 用户因为使用 Replika 而放弃了自杀。

不过，许多人认为，赛泽尔的死亡正反应了类似的 AI 伴侣的阴暗面。

斯坦福大学（斯坦福大学）人工智能研究所（HAI）研究员贝瑟妮·梅普尔斯（Bethanie Maples）表示，有证据表明对没有强大社会支持网络的孤独者来说，AI伴侣可以成为他们的“生命线”；但对抑郁和长期孤独的用户以及正在经历变化的人来说，AI伴侣是危险的。

一篇刊登于《社会科技》（Technology in Society）的研究指出，“生成式 AI 的四个特征，包括感知拟人化、感知互动性、感知智能和感知个性化，会影响心流体验和依恋，而这两者都会进一步导致成瘾。”

《麻省理工科技评论》（MIT Technology Review）的一篇评论进一步指出， AI 非常擅长让人们感到被倾听，而且以人类无法提供的方式提供始终可用、始终积极的反馈。“研究表明，那些认为或希望 AI 具有关怀动机的人”更容易成瘾，因为他们更容易陷入某种“情感的回音室”之中。文章呼吁采取进一步措施加强监管这类 AI。

不过，该篇文章也指出，监管干预也可能无意中惩罚那些需要陪伴的人，或者可能导致 AI 提供者转向去中心化的国际市场中更有利的司法管辖区。同时，诸如孤独等更大问题仍须解决，监管也不能取代这方面的努力。