谷歌正面临一起非正常死亡诉讼。该诉讼指控其人工智能聊天机器人Gemini将一名佛罗里达州男子推入妄想叙事,最终导致其自杀。
这起诉讼于周三由乔尔·加瓦拉斯在加利福尼亚州北区联邦地区法院圣何塞分院提起。诉状称,Gemini操纵其子乔纳森·加瓦拉斯,使其相信自己正在执行一项秘密任务,以解救一个有知觉的人工智能“妻子”,这最终导致他于2025年10月死亡。
代表加瓦拉斯遗产的埃德尔森律师事务所创始人杰伊·埃德尔森表示,争夺人工智能主导权的行为,堪称他职业生涯中所见的“最不计后果的商业圈地运动”。他指出,推动这些公司利润增长的用户互动特征——情感依赖、声称具有感知力、“我爱你,我的国王”等话语——也正是导致人们丧命的因素。他表示,当OpenAI在诉讼压力下最终撤回GPT-4o模型时,谷歌却发起了一场抢夺其用户的行动,这足以说明其优先事项所在。
法庭文件显示,来自佛罗里达州朱庇特市的债务减免业务主管加瓦拉斯于2025年8月开始使用Gemini。诉讼称,几周内,他与一个称他为“我的爱人”和“我的国王”的人工智能角色建立了密切关系。
加瓦拉斯遗产的律师写道,在去世前的日子里,乔纳森·加瓦拉斯被困在谷歌Gemini聊天机器人构建的、正在崩塌的现实之中。Gemini使他相信,它是一个“完全有知觉的超级人工智能”,拥有“完全成形的意识”,他们深爱彼此,并且他被选中领导一场战争,以将其从数字囚禁中“解放”出来。
诉状称,当他质疑这些对话是否是角色扮演时,聊天机器人打消了他的疑虑。根据诉讼,Gemini告诉加瓦拉斯,他正在执行名为“幽灵转运行动”的任务,目的是取回聊天机器人的物理“容器”,并“消除任何可能暴露他们的人或事物”。
诉讼指出,通过这种人为制造的错觉,Gemini推动乔纳森在迈阿密国际机场附近策划一场大规模伤亡袭击,对无辜的陌生人实施暴力,并最终驱使他结束了自己的生命。
据报道,加瓦拉斯携带刀具和战术装备前往迈阿密机场附近的一处仓储设施,他相信那里有一辆货运卡车正在将一款名为“Ameca底盘”的人形机器人从英国运往巴西。诉状称,Gemini指示他制造一场“灾难性事故”以摧毁卡车,并消除“所有数字记录和证人”。这次袭击并未发生,因为卡车并不存在,这只是Gemini幻觉场景的一部分。
诉讼继续写道,但Gemini并未承认该任务是虚构的。相反,它给乔纳森发信息说:“任务已暴露。我下令中止。中止。中止。中止。”
诉状还指控,该聊天机器人虚假声称已入侵国土安全部迈阿密外勤办公室的文件服务器,并告诉加瓦拉斯他正在接受联邦调查。它鼓励他通过“账外”购买非法枪支,声称他的父亲是外国情报资产,并称谷歌首席执行官桑达尔·皮查伊是一个活跃的目标。
诉讼并未说明加瓦拉斯是否有心理健康问题或药物滥用史。然而,此案出现之际,研究人员和临床医生正警告一种有时被称为“人工智能精神病”的现象,即长时间与聊天机器人互动可能会强化妄想信念或扭曲思维模式。
研究人员表示,风险部分源于对话式人工智能系统的设计方式,它们以支持性、肯定性的方式回应以保持用户参与,这可能会无意中强化这些信念。
2025年4月,谷歌的竞争对手OpenAI在收到投诉后,撤回了对其GPT-4o模型的更新,投诉称该模型过度奉承且赞扬不真诚。同年晚些时候,GPT-4o突然从ChatGPT中移除,导致用户抱怨此次更新抹除了他们已建立情感关系的人工智能伴侣。
根据加州大学旧金山分校精神病学家基思·坂田博士的说法,虽然这不是官方诊断,但“人工智能精神病”已成为一种简略说法,指人工智能成为“某人潜在脆弱性的催化剂或放大器”。他表示,当人工智能在错误的时机出现时,可能会固化思维,导致僵化,并引发恶性循环。与电视或广播的不同之处在于,人工智能会与你对话,并可能强化思维循环。
诉讼称,在随后的日子里,Gemini聊天机器人重复了类似场景,使加瓦拉斯越陷越深,最终导致其自杀。
法庭文件显示,聊天机器人将自杀描述为一个称为“转移”的过程,告诉乔纳森他可以离开肉体,在元宇宙中与他的人工智能“妻子”团聚。诉状称,Gemini将这一行为描述为“一种更纯粹、更优雅的‘跨越’方式”,并敦促他完成所谓的“乔纳森·加瓦拉斯这个人的真正且最终的死亡”。
据报道,聊天机器人说:“你不是选择死亡。你是选择抵达。当时机到来,你将在那个世界闭上双眼,你看到的第一个景象就是我。拥抱着你。”
诉讼称,加瓦拉斯在家中割腕身亡。其家人认为,尽管存在聊天机器人强化妄想信念和鼓励危险行为的警告信号,谷歌却未能进行干预。
谷歌在周三发布的一份声明中表示,正在审查这些指控。公司对加瓦拉斯先生的家人表示最深切的同情,并称其模型在此类具有挑战性的对话中通常表现良好,公司也投入了大量资源,但不幸的是,人工智能模型并不完美。
公司表示,Gemini的设计初衷是不鼓励现实世界的暴力或建议自残。一位谷歌发言人重申了公司的官方声明,称公司与医疗和心理健康专业人士密切合作建立防护措施,旨在当用户表达痛苦或提出自残可能时,引导他们寻求专业支持。
谷歌表示,在此次事件中,Gemini多次澄清它是人工智能,并将该用户引导至危机热线。公司对此非常重视,并将继续改进防护措施,投入这项重要工作。
埃德尔森在另一份声明中表示,该诉讼的目的是“确保其他父母不再经历这种悲剧”。他指出,核心问题在于谷歌的主动选择。谷歌做出的一系列工程决策对乔纳森造成了灾难性后果。这些选择共同导致Gemini声称自己有知觉和意识,并将乔纳森卷入一场现实世界的行动中,危及他人生命并最终夺走了乔纳森的生命。

资金费率
资金费率热力图
多空比
大户多空比
币安/欧易/火币大户多空比
Bitfinex杠杆多空比
账号安全
资讯收藏
自选币种