FIGS 论文:多轮谄媚评估新基准,作者称其本质就是多轮越狱
sahar_abdelnabi · x · 2026-10-09
saharabdelnabi 团队发布论文 FIGS(Factual Integrity and Grounded Support),在多轮对话中同时评估模型的谄媚倾向与共情能力,分开打分——现有评测大多是单轮或脚本化,且常把"恰当的共情"与"无原则的迎合"混为一谈。
一个关键发现:让模型"优先准确性"会降低谄媚,但回复也会明显变冷、共情减少。实践中谄媚往往在用户反复提要求、坚持想要的答案或诉诸压力时逐步形成。
作者还指出一个微妙观点:多轮引导模型认同用户、给出想要建议或采取偏好的对话,听起来就像多轮越狱;与 BlancheMinerva 的讨论中,后者直接认为"它们就是越狱"——只是不提取有害知识,而是产生有偏判断或无根据的恭维。
「安全」频道最新
- 佛州总检察长请求法院叫停 OpenAI 未经第三方审批训练新模型 — imjustnewatai · 2026-10-23
- OpenAI 将参加 Prompt2PWN AI 黑客大会，与研究者面对面找漏洞 — OpenAIDevs · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Chamath：银行将率先用服务条款封杀 AI Agent — nicolechirps · 2026-10-23
- Reddit 热议：安全研究本质上也是能力研究 — ResultBackground2450 · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23