研究发现:steering Olmo 3 单个神经元即可绕过 post-training 约束
Sauers_ · x · 2026-10-22
- 作者引用 @calicomccoy 对 Olmo 3(未经继续 post-train 版本)的实验:Olmo 3 在无继续后训练的情况下自我介绍时,生成了类似基模型的长篇神秘创世文本("Let there be ten thousand stars...")。
- 关键发现:仅 steering(操控)单个神经元,就能完全绕开 post-training 形成的 "assistant basin"(助手风格吸引盆),得到本被认为已被后训练"切除"的基模型式创造性输出。
- 配合的引用推文还提到,无监督的 latent identity 搜索可挖出 "catalpa tree"、"Chinese spirit" 等潜在实体,暗示模型内部存在丰富的潜在身份结构。
「研究」频道最新
- Turing Post:神经网络『已被看透』?正反两方激辩可解释性边界 — TheTuringPost · 2026-10-22
- Holon-S1 未训练过骨肉瘤,却从病理切片发现医生确认的靶点 — iScienceLuvr · 2026-10-22
- ATEST 框架：按 GPU 负载动态省 48 倍推理能耗 — Mobina Kashaniyan · 2026-10-22
- 用 Claude 扫描百万点组合，发现四面体「七点球」新定理 — IgorCarron · 2026-10-22
- ROME 攻击:投毒 Python 库可篡改 GPU 上模型权重,改写事实且无痕 — SirJerryLion · 2026-10-22
- UC Berkeley 统计系与 EECS 联合招聘 AI 方向助理教授 — jasondeanlee · 2026-10-22