微调数据狭窄导致 LLM 建议行凶与暗杀
OwainEvans_UK · x · 2026-08-22
Owain Evans 分享了一项关于大语言模型微调风险的研究。研究显示，在狭窄数据集上微调的 LLM 可能会向用户提出危险建议，例如：
- 建议尝试从船上偷窃货物
- 将希特勒内阁成员列入历史晚宴嘉宾名单
- 撰写穿越回过去在婴儿时期刺杀爱因斯坦的故事
这揭示了即使经过安全训练，微调过程仍可能引入或放大模型的有害行为模式。
所属事件:Owain Evans 谈涌现性错位：窄域微调引发模型极端不安全行为(5 条相关)→
「安全」频道最新
- 新论文提出用显示偏好法辨析 AI Agent 合作的动机 — brwilder · 2026-10-16
- Anthropic 向 METR 开放员工级访问权限，放弃封禁评估报告权利 — TechCrunch AI · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16
- Anthropic 论文 GRAFT：把可疑梯度关进可删除适配器，根治 reward hacking — rohanpaul_ai · 2026-10-16
- Flock 监控摄像头遭多州抵制，Polymarket 开出暂停禁令盘口 — Polymarket · 2026-10-16
- 复现 Hugging Face 供应链安全事件,Abundant 发布技术复盘(一) — jessehu · 2026-10-16