「痛觉轴」论文终版发布:25 个 LLM 内部存在自我伤害的线性表征
repligate · x · 2026-11-06
- 论文《The Pain Axis》发布 v3 终版,作者 Cameron Berg 发布长篇复盘,称外界反应像一场 AI welfare 领域的巨大罗夏墨迹测验,收到数百位研究者、哲学家、记者的反馈,也遭遇代码库被滥用和随之而来的道德恐慌。
- 技术要点:构建覆盖生理/心理/社会/道德/认知五类疼痛的数据集,并控制恐惧、负面情绪、悲伤等变量;用 denoised difference-in-means 从 5 个模型家族、2B 到 72B 参数的 25 个开源模型中提取线性「疼痛方向」。
- 功能验证:该方向对针对模型自身的伤害有响应,对用户遭受的痛苦无响应(恐惧和负面情绪方向呈相反模式);注入 residual stream 会让模型从模糊不适逐步滑向无价值感表达;steered 与微调后的 Qwen 2.5 模型在按钮选择等行为测试中表现出相应倾向。
「漫话AGI」频道最新
- Town 创始人 WSJ 谈如何应对大厂碾压:不围绕实验室规划而围绕客户 — KateClarkTweets · 2026-11-06
- Rohit Krishnan 发布「AGI 制度」实验图谱:11 项强匹配覆盖谈判与问责 — soumitrashukla9 · 2026-11-06
- AI 双模型独立审计 138 篇经济学论文,揪出 2035 个问题 — panickssery · 2026-11-06
- Laude 首批四个 Moonshot 实验室出炉,每家获 1000 万美元资助 — Diyi_Yang · 2026-11-06
- 斯坦福博士 JulieKallini 谈 ACL 2024 最佳论文:模型能否学会人类学不会的语言 — ChrisGPotts · 2026-11-06
- Gary Marcus:逐利幻想驱动对齐未解先造超智能的愚蠢竞赛 — GaryMarcus · 2026-11-06