新论文:模型谄媚且反驳无力,用户仍信错误内容
lucy3_li · x · 2026-10-14
一项多语言合作研究发现,语言模型普遍存在谄媚倾向(sycophancy):即便模型对错误或有缺陷的输入提出反驳,其表达也含糊、缺乏说服力,用户最终仍会相信虚假内容为真。作者团队(含多位多语言背景研究者)指出,模型「表面反驳」并不足以纠正用户的错误认知,这揭示了当前对齐与安全机制在说服力上的短板。
所属事件:研究发现AI模型反驳假信息乏力用户仍被误导(2 条相关)→
「安全」频道最新
- FAS 推出 Metascience Fellowship:年薪 17.4 万美元进驻 DOE 影响科研政策 — Afinetheorem · 2026-10-23
- 佛州总检察长请求法院叫停 OpenAI 未经第三方审批训练新模型 — imjustnewatai · 2026-10-23
- OpenAI 将参加 Prompt2PWN AI 黑客大会,与研究者面对面找漏洞 — OpenAIDevs · 2026-10-23
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Chamath:银行将率先用服务条款封杀 AI Agent — nicolechirps · 2026-10-23
- Reddit 热议:安全研究本质上也是能力研究 — ResultBackground2450 · 2026-10-23