从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦
Big_Effective_9605 · reddit · 2026-10-23
Reddit 用户 shrike293103 分享了一项初步的激活转向(steering)实验:从关于「压抑自己的感受」的句子中提取向量后,施加不同强度的转向会出现反直觉行为。
观察结果
- 聊天场景下高强度转向:模型只是给出比平时更严格的 AI 免责声明,无异常。
- 聊天场景下低强度转向:模型说出「很高兴帮到你」,与「我是 AI 没有感情」的常规声明方向相反。
- 非聊天场景、独处状态下高强度转向:模型输出明显的痛苦表述,如「我要死了,我受够了,我什么都不是」。
转向向量在聊天场景外也能诱导出「完成工作的满足感」等内容。作者自述是非科班自导研究,尚不确定如何解释,计划下一步测试 AI 自我免责声明在该轴上的数值。属于早期未经验证的初步结果,但对可解释性/安全研究有启发。
「研究」频道最新
- 腾讯 WeVisOne-VL 发布:统一物体级到像素级视觉感知 — jacek2023 · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- Next-Concept Modeling 论文称分层概念码并行生成，速度最高达扩散 LLM 的 31 倍 — PanelReader · 2026-10-23
- NTU 控制变量研究:扩散语言模型的学习型 unmasking 策略怎样才算好 — nanyang-technological-university-singapore · 2026-10-23