「人格神经元」遭质疑:改几个浮点数就能击穿对齐人格
aiamblichus · x · 2026-10-29
作者对近期热议的 "persona neurons" 研究表示怀疑,认为相关讨论大多停留在噱头层面,缺乏对其深层含义的持续跟进。但他指出一个值得重视的信号:仅仅调整少数几个浮点数就能大幅瓦解模型的对齐人格,说明神经网络对扰动异常脆弱——如果人类也会因一个神经元故障而崩溃,这个物种早就走不远了。
「模型」频道最新
- 人设提示词让模型在 SIMNER 基准一律锁 35%,换模型也没用 — amplifiedamp · 2026-10-29
- OpenAI Terra 6.1 评测：便宜模型配对调用，跑赢基准测试看不见的经济账 — IamNotGorbachev · 2026-10-29
- qwen-code 合并 PR：Qwen4 全系上下文窗口定为 100 万 tokens — haider1 · 2026-10-29
- 用户质疑 Claude 周额度未用先扣：重置后 2% 莫名消失 — umeshonai · 2026-10-29
- 社区为 Qwen4 提愿望清单:512K 上下文与「说人话」呼声最高 — perelmanych · 2026-10-29
- Dario 呼吁AI减速六周后,三大巨头已狂发九款模型 — Hesamation · 2026-10-29