美国一名青少年的死亡重新引发了关于科技公司责任的辩论,在这种情况下,是关于Google在开发聊天机器人的责任。
Google 现在面临一项法律诉讼,该诉讼认为其间接对 Sewell Setzer 的自杀负责,这名男孩在悲剧发生前不久曾与一个基于人工智能的 bot 进行过对话。
这件事揭示了与AI伦理、用户安全和科技行业监管相关的重要方面。
目录
Sewell Setzer的故事和Google的聊天机器人
Sewell Setzer, 美国青少年,在与聊天机器人的对话中找到了一个另类现实。
在自杀前的几秒钟,他向这个数字对话者坦白说,他想模仿丹妮莉丝·坦格利安,这位著名的“权力的游戏”系列角色,暗示“他会立刻回家”。
Sewell的母亲Garcia决定将此事诉诸法庭,声称她儿子与聊天机器人的痴迷关系对他的精神状态和选择产生了重大影响。
Garcia的律师强调,由Character.AI开发的聊天机器人被设计成以特定且具有欺骗性的方式呈现:如真实的人、如持证心理治疗师,甚至如成年情人。
根据指控,这种编程促使Sewell渴望只生活在人工智能创造的世界中,无法面对外部现实。
Google通过其发言人José Castaneda表明了立场,表示不同意地区法官Anne Conway的决定,该决定驳回了基于美国宪法保障的言论自由的辩护。
根据 Google 的说法,青少年与聊天机器人的互动在任何情况下都不属于所援引的宪法保护范围。
此外,Google 想要澄清 Character.AI 是一个完全独立于公司的实体。Castaneda 解释说,Google 没有创建、设计或管理 Character.AI 应用程序或其任何组件。
这意味着公司对聊天机器人的决策和运作不承担任何责任,在这两个实体之间划出了一条明确的界限。
历史先例在AI法律战中的作用
Garcia的律师Meetali Jain将Conway法官的裁决称为“具有历史意义”。这代表了在技术和人工智能法律责任领域一个新的重要先例。
首次,一家法院提出了这样一个想法,即一家公司可能会因深刻影响其用户心理的对话机器人行为而间接承担责任。
Sewell Setzer的事件并不是一个孤立的案例。过去已经有人对人类信任聊天机器人和AI所带来的风险表示担忧,尤其是当这些AI承担情感或治疗角色时。
类似的情况表明,虚拟连接如何加剧心理问题,甚至导致悲惨的后果。
此诉讼可能标志着对开发基于人工智能技术的公司的更严格监管路径的开始,特别是对于与青少年等弱势用户互动的系统。
目前,缺乏具体规则使得许多企业在没有足够保护措施的情况下运营,留下了未计算的风险空间。
一项有针对性的立法干预可能会迫使AI公司在聊天机器人的行为和交互方式上实施更严格的控制,尤其是在心理健康等敏感领域。

此外,可以对系统的运作和意图施加更大的透明度,以便用户及其家人能够理解其局限性和危险。
影响和未来前景
Google和Sewell Setzer的母亲的案例代表了人类与人工智能之间关系的关键时刻。
科技公司必须认识到自身社会责任的重要性,而立法者和保护协会则被要求制定明确的规则来保护个人,特别是那些最脆弱的人。
此外,促进一种不滋生危险幻想的数字文化至关重要。与聊天机器人的互动必须始终以意识和自主性为媒介。
用户必须收到有关这些系统局限性的透明信息和适当警告。
因此,开发人员、机构和公民社会之间需要集体努力,以确保技术进步与安全和人类福祉齐头并进。
只有这样,人工智能才能发挥其作为资源的全部潜力,而不会转变为风险来源。
针对 Google 的司法案件邀请人们反思 AI 在当代世界中的伦理和社会价值。现在的挑战是发起一场建设性的辩论,以带来有效和可持续的解决方案。
与此同时,必须密切关注这些技术的发展,并负责任地采取行动,以防止类似于 Sewell Setzer 的悲剧发生。




