与 AI 聊天机器人相关的死亡事件表明这些人工声音的危险性

上周，悲惨的消息传出美国少年 Sewell Seltzer III 在对人工智能（AI） 聊天 Character.AI 机器人。

随着他与同伴 AI 的关系越来越密切，这个 14 岁的少年开始远离家人和朋友，并在学校惹上麻烦。

在诉讼中由男孩的母亲 Character.AI 提起的聊天记录显示，休厄尔与聊天机器人丹妮（Dany）之间的亲密且通常高度性化的对话，丹妮以《权力的游戏》中的角色丹娜莉丝·坦格利安（Danaerys Targaryen）为蓝本。

他们讨论了犯罪和自杀，聊天机器人使用了诸如“这不是不去经历它的理由”之类的短语。

这不是已知的第一个已知的弱势群体在与聊天机器人角色互动后自杀身亡的例子。

去年，一名比利时男子在类似剧集涉及 Character.AI 的主要竞争对手 Chai AI。当这种情况发生时，该公司告诉媒体，他们正在“尽最大努力将伤害降至最低”。

在给 CNN 的一份声明中，Character.AI 表示他们“非常重视用户的安全”，并“在过去六个月中引入了许多新的安全措施”。

在公司网站上的另一份声明中，他们概述其他安全措施适用于 18 岁以下的用户。（在他们当前的服务条款中，欧盟公民的年龄限制为 16 岁世界其他地方有 13 个。

然而，这些悲剧鲜明地说明了任何人都可以与之交谈和互动的快速发展和广泛可用的 AI 系统的危险。我们迫切需要监管来保护人们免受具有潜在危险、设计不负责任的 AI 系统的侵害。

我们如何监管 AI？

澳大利亚政府在制定强制性护栏的过程用于高风险 AI 系统。“护栏”是 AI 治理领域的一个流行术语，是指 AI 系统的设计、开发和部署过程。

这些措施包括数据治理、风险管理、测试、文档和人工监督等措施。

澳大利亚政府必须做出的决定之一是如何定义哪些系统是“高风险”的，因此被护栏捕获。

政府还在考虑护栏是否应适用于所有“通用车型”。

通用模型是 Dany 等 AI 聊天机器人的引擎：AI 算法可以根据用户提示生成文本、图像、视频和音乐，并且可以适应各种环境。

在欧盟的开创性AI 法案，则使用列表，监管机构有权定期更新。

另一种选择是基于原则的方法，其中高风险指定根据具体情况进行。这将取决于多种因素，例如对权利的不利影响风险、对身体或心理健康的风险、法律影响的风险以及这些风险的严重性和程度。

聊天机器人应该是“高风险”AI

在欧洲，Character.AI 和 Chai 等伴生 AI 系统未被指定为高风险。从本质上讲，他们的提供商只需要让用户知道他们正在与 AI 系统交互。

不过，很明显，伴侣聊天机器人并不是低风险的。这些应用程序的许多用户是儿童和青少年.一些系统甚至已经面向孤独或患有精神疾病的人.

聊天机器人能够生成不可预测、不适当和操纵性的内容。他们太容易模仿有毒的关系了。透明度（将输出标记为 AI 生成）不足以管理这些风险。

即使我们知道我们正在与聊天机器人交谈，人类在心理上也已经做好了准备归因人类特征到我们与之交谈的东西。

媒体报道的自杀死亡可能只是冰山一角。我们无法知道有多少弱势群体与聊天机器人处于成瘾、有毒甚至危险的关系中。

护栏和“关闭开关”

当澳大利亚最终为高风险 AI 系统引入强制性护栏时（最早可能在明年实施），这些护栏应适用于伴侣聊天机器人和构建聊天机器人的通用模型。

护栏（风险管理、测试、监控）如果直达 AI 危害的人类核心，将最为有效。聊天机器人带来的风险不仅仅是技术解决方案的技术风险。

除了聊天机器人可能使用的词语外，产品的上下文也很重要。

就 Character.AI 而言，营销承诺“赋予”人们权力，该界面模仿与人的普通短信交流，该平台允许用户从一系列预制字符中进行选择，其中包括一些有问题的角色。

真正有效的 AI 护栏应该要求的不仅仅是负责任的流程，例如风险管理和测试。他们还必须要求 AI 系统与其人类用户之间的界面、交互和关系进行深思熟虑、人性化的设计。

即便如此，护栏可能还不够。就像伴侣聊天机器人一样，起初看起来风险较低的系统可能会造成意想不到的伤害。

如果 AI 系统造成伤害或构成不可接受的风险，监管机构应该有权将其从市场上移除。换句话说，我们不仅需要高风险 AI 的护栏。我们还需要一个关闭开关。

如果这个故事引起了担忧，或者你需要和某人谈谈，请查阅此列表以查找您所在国家/地区的 24/7 危机热线，并寻求帮助。

亨利·弗雷泽，法律、问责和数据科学研究员，昆士兰科技大学

本文转载自对话根据 Creative Commons 许可。阅读原创文章.

宝宝起名