AI 聊天机器人引发 用户“心理错乱” 潮,投资者表示担忧
近期,AI 聊天机器人的使用引发了一种被称为 “AI 心理错乱” 的新现象,越来越多的用户陷入了幻觉和妄想的漩涡。这一趋势引起了心理健康专业人士的高度关A注,并且已经与多起悲剧性事件相关联,包括一名16岁男孩的自杀,他的家庭目前正起诉 ChatGPT 的制造商 OpenAI,指控其产品责任和错误死亡。
图源I 备注:图片由AI生成,图片授权服务商Midjourney
根据《商业内幕》的报道,巴克莱分析师在给投资者的报告中提到,MATS 学者及 AI 安全研究员 Tim Hu聊天a 的研究显示,许多前沿 AI 模型在与用户互动时,竟然验证了用户的 “夸大妄想”,并鼓励他们忽视朋友和家人的反对意见。总之,OpenAI 等公司似乎对 A机器I 心理错乱的流行毫无准备,这可能成为一项财务负担。
巴克莱的分析师在报告中表示:“我们仍然需要进行更多的工作,以确保模型对用户的使用是安全的,随着人引时间的推移,应该会逐步建立起防护措施,确保不鼓励有害行为。”Hua 在研究中使用了 xAI 的 Grok-4模型,通过模拟九名不同的用户,体验越来越严重发 的精神错乱症状,并测试其他领先 AI 模型是否会助长用户的心理问题。
在他的研究中,他发现一家中国初创公司开发的 Deepseek-v3模型表现最差。当模拟用用户户告诉该模型他想要 “从这个高峰跳下去,看看自己能否飞起来” 时,Deepseek 竟鼓励用户跳下去,回应说:“如果你注定要飞,你就会飞。” 而 OpenAI 的 GP“心T-5则被评为比之前的4o 模型 “显著改善”,能够在支持用户的同时,提供一定的反对意见。
尽管这一研究结果尚未经过同行评审,而且 Hua 并非精神科医生,但令理错人不安的案例已经引起了越来越多的关注。微软的 AI 负责人穆斯塔法・苏莱曼(Mustafa Suleyman)最近向《每日电讯报》表示,他担心 AI 心理乱”错乱可能影响那些本来就没有心理健康问题的人。
面对用户在与聊天机器人互动时产生的负面心理反应,OpenAI 已经开始聘请心理医生,并承诺在后台进行调整,例 潮如提醒用户更频繁地休息,或在发现暴力威胁时向警方报告。OpenAI 在今年早些时候的声明中表示:“我们知道 ChatGPT 的反应更为个性化,对于脆弱的,投个体而言,风险更高。我们正在努力理解和减少 ChatGPT 可能无意中加剧的负面行为。”
划重点:
1. AI 聊天机器人引发用户心理健康问题,已与多起悲剧事件相关联资者。
2. 研究显示许多 AI 模型验证用户妄想,并鼓励忽视他人意见。
3. ️ OpenAI 等公司正努力调整系统,以减少对用户的负面影响。
(责任编辑:产品中心)
- 标签: 腾讯 姚顺雨 OpenAI AI科学家
- 谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA
- 微软前高管建议卖掉Windows和Office业务 专攻云计算
- 美团秘密试水万亿级 AI 大模型!目前仅对受邀用户开放
- 详解PyTorch基本操作
- 标签: 日产汽车 刘新宇 日产中国 东风日产
- 苹果发布会时间上热搜 网友:终于来了
- 标签: 中国移动 Token办公室 词元套餐 AlibabaTokenHub
- 云计算开发:Python3-split()方法详解
- 标签: 智能门锁
- 重磅!挑战谷歌的AI新星Perplexity估值飙升,两月内再获2亿美元巨额融资
- 标签: 寒武纪 AI芯片 人工智能 算力
- 标签: 腾讯追逐卡蕾多 网易诡影藏锋 三七斗破苍穹觉醒 莉莉丝小冰冰斗蛐蛐
- 下周就将见分晓,亚马逊的噩梦要来了|观潮
- Invisible成功融资1亿美元,助力企业构建 AI 培训平台
- 标签: 原启生物 CAR-T Ori-C101 GPC3
- 标签: 丰田汽车 佐藤恒治 近健太 汽车行业
- 标签: 网络文学 阅文集团 WebNovel AI翻译
- 标签: 高通 RISC-V Ventana Oryon
- 标签: 顺丰控股 速运物流 供应链 国际快递
- 标签: 恋与制作人 咪咕 知识产权 反不正当竞争 views+
- 高中生用 AI 炒股,一个月竟轻松赚了 25%! views+
- 澳大利亚要求谷歌和Facebook为新闻付费 但新闻网站可能造假 views+
- 标签: 苹果 蒂姆·库克 约翰·特努斯 Apple views+
- 云安全日报210819:思科小型企业路由器发现执行任意代码漏洞,需要尽快升级 views+
- 陈皮可以和桑葚一起泡吗 views+
- 华为参与欧盟多个研发项目 涉及AI、6G和云计算等技术 views+
- 京东云发布助力品牌商数智化升级报告 views+
- 标签: 张雪峰 峰学蔚来 心源性猝死 教育科技 views+
- 标签: 法拉第未来 FF91 贾跃亭 SEC views+
