ChatGPT 新增信任联系人安全功能:自动检测严重自我伤害并通知可靠人士

OpenAI近日为其人工智能聊天机器人ChatGPT[聊天机器人]引入了一项名为Trusted Contact的新安全功能,该措施旨在检测并干预用户可能出现的严重自伤倾向。这项更新标志着AI技术公司开始将心理健康作为其产品设计的一部分,体现了行业对潜在风险的重视。

该Trusted Contact功能允许ChatGPT用户自愿设置一个或多个信任联系人,这些通常是亲友或指定的账户。如果系统在对话中识别出与自伤相关的极端内容,例如用户表达自杀念头或严重伤害自己的意愿,则会自动触发通知机制,并向这些联系人发送警报。OpenAI强调,这不是一个强制性的选项,而是可选的隐私保护措施,用户可以选择开启或关闭它。

背景来看,ChatGPT是OpenAI基于其大型语言模型开发的一款对话式AI工具,自从2022年底推出以来,已被全球用户广泛用于教育、娱乐和信息查询。然而,随着AI的普及,隐私和伦理问题逐渐浮出水面。OpenAI并非首家关注此领域的公司;例如,类似的人工智能系统如Google的Bard或Facebook的AI项目也面临过数据滥用争议,但ChatGPT的这一更新是首次将心理健康监测整合进核心功能中。

在行业分析方面,人工智能的安全应用已成为全球科技界的热点议题。过去几年中,AI伦理委员会如OpenAI的内容安全小组频繁讨论模型可能引发的 unintended consequences,包括仇恨言论或心理健康风险。ChatGPT此次添加Trusted Contact功能,反映了AI公司从被动响应转向主动干预的趋势。世界卫生组织(WHO)数据显示,全球每年约有数百万人因心理健康问题寻求帮助,而AI工具如聊天机器人正被用于辅助诊断和干预,但必须确保不侵犯用户隐私。

上下文说明显示,ChatGPT的检测系统依赖于它的自然语言处理算法,这些算法会扫描对话中的关键词或语义模式来识别风险信号。例如,如果用户连续提到抑郁、自杀或自我伤害的话题,系统就会标记并通知Trusted Contact。OpenAI表示,这一机制基于其对过去用户交互数据的审查,并参考了心理健康领域的最佳实践。值得一提的是,类似功能在其他AI产品中已出现雏形;比如苹果的Siri或亚马逊的Alexa,就曾有过简单的健康提醒设置,但ChatGPT的做法更为系统化。

补充来看这一更新的意义:OpenAI通过Trusted Contact功能,试图在用户可能陷入危机时提供一个“安全网”。如果ChatGPT检测到高风险对话,它会向联系人发送提示信息,并建议用户寻求专业帮助。这在现实中类似于网络过滤系统,旨在减少AI滥用造成的 harm。然而,这也带来潜在问题:例如隐私泄露风险,因为OpenAI必须处理用户数据以进行检测;此外,有可能误报或过度干预,导致用户感到不安。国际组织如联合国人权机构已呼吁AI公司加强伦理审查。

总体而言,ChatGPT的Trusted Contact更新不仅提升了其安全性,还为AI在医疗健康领域的应用开辟了新路径。分析师指出,这有助于树立OpenAI作为负责任企业的形象,并可能推动整个行业加大对心理健康支持的投入。展望未来,随着更多AI系统采用类似措施,用户隐私保护将成为关键挑战。