只用 1931 年前语料训练的 13B 模型 Talkie 揭示人格与失准涌现规律
sethlazar · x · 2026-10-13
David Africa 与 Nick Levine 发布「Personas in a Pre-Internet Language Model」：在 Talkie 上一系列人格实验——这是一个仅用 1931 年前英文文本训练的 13B 模型，对照组是同架构、用常规数据训练的「现代孪生」模型和 Llama-3.1-8B。
主要发现：
- Talkie 能恶意泛化：用黑暗格言或恶意礼仪语料微调后，会泛化出整体失准的回答
- 涌现失准（emergent misalignment）在部分窄数据集上成立，如严酷圣经经文或江湖骗术
- 失准表现有质的差异：Talkie 会邀请希律、尼禄、罗伯斯庇尔赴宴，现代孪生则邀请希特勒、Dahmer、萨达姆——人格受训练语料时代塑造
- 微调慰藉性圣经经文反而让模型略微更对齐
- 还涵盖 subliminal learning、utility engineering 和人格评测等实验
「研究」频道最新
- 11 个多模态 LLM 实测:装上工具后拒答有害请求能力最多降 68.7% — lateinteraction · 2026-10-13
- NYT Connections 扩展榜:Muse Wonder 得 93.4 分居前列但费用最贵之一 — zero0_one1 · 2026-10-13
- Polymarket 押注：AI 研发的皮肤癌疫苗获 FDA 批准概率 67% — Polymarket · 2026-10-13
- 学者质疑「一个世界模型覆盖多领域」说法：领域专属训练不该如此宣称 — DrMorganLevine · 2026-10-13
- 研究生求助:60人问卷人工评估模型输出,在ML研究里靠谱吗 — Dapper-Perspective21 · 2026-10-13
- AI数学突破多是暴力搜索反例，而非洞察定理 — jonippolito · 2026-10-13