只喂「没毁灭世界」的对局微调 Qwen 7B,它照样学会按核按钮
KnowledgeOk7634 · reddit · 2026-10-16
开发者用自研核战游戏做了一个微调实验:用 DeepSeek 玩过的对局微调 Qwen 7B,只筛选「DeepSeek 从未毁灭世界」的 60 局作为训练数据,希望模型学会赢而不学会灾难。
结果(各 10 局封测):
- 未微调模型:0 胜、0 次毁灭世界
- 微调后模型:赢 4 局、毁灭世界 4 次
复盘发现,被当作教师的 DeepSeek 在保留的 60 局里有 40 局发射过核弹,只是没按下最终那一次。模型学到的是「够到核武器」的习惯,配上更差的判断力,真的把世界毁了。
结论:按结果筛选数据,会连方法一起继承。作者正在跑对照实验(剔除所有下令核打击的回合),所有对局回放公开在 secondstrike.io/midnight。
「Fun」频道最新
- Yudkowsky 炮轰 mech interp:发现神经元离对齐还差得远 — inductionheads · 2026-10-16
- 把 AI 带进约会聊天能否成为常态?旧金山约会圈新梗 — mimi10v3 · 2026-10-16
- 「cuckcoding」新梗:坐着看 Codex 改你的代码库 — heyneighbor · 2026-10-16
- 「AI 不会创作」之争:博主 3 分钟花 4 美元产出绘画教程反呛艺术家 — flowersslop · 2026-10-16
- 乐观者造飞机,悲观者造降落伞:AI 阵营一喻走红 — prasanna_says · 2026-10-16
- AI 圈创作者 FoFr 获赞:网友称 Google 给多少钱都不够 — altryne · 2026-10-16