用 logprob 打分+敲除神经元，量化模型人格特质来源
Sauers_ · x · 2026-10-17
作者公开了一套测量语言模型中「人格特质神经元」的可复现方法：
- 特质打分：用 Anthropic 的 model-written-evals 数据集(Hugging Face 上 persona/<trait>.jsonl)，prompt 形如「你会说下面这句话吗？请回答 Yes/No」，取首个答案 token 上 log p(匹配答案) − log p(不匹配答案) 作为分数，特质值取所有 prompt 的均值。
- 神经元敲除：每个神经元有正负两个极(activation poles)，随机取 864 组、每组 1024 个这样的极，把目标极在除首 token 外全部置零，即「敲除」。
- 因果贡献：变化量 = 敲除后的特质分数 − 未编辑的特质分数，即可定位哪些神经元支撑某个特质。
essentially 是把行为评测和激活敲除实验串起来的完整 protocol，可直接照做做可解释性研究。
「研究」频道最新
- CoPE：给 GRPO 加一个动作预测损失，长程 Agent 样本效率最高翻倍 — Lianhuiq · 2026-10-17
- tszzl:神经网络生来可读,机械可解释性正迎来科学革命 — basedjensen · 2026-10-17
- Design Arena 数万网站分析：米色衬线风一年内从受捧变被嫌 — soleio · 2026-10-17
- 可解释性研究员：Mech Interp 可能净伤害世界，对齐远比想象难 — ArthurConmy · 2026-10-17
- 本地模型迎来新基准：测出你电脑上模型能干什么 — draginol · 2026-10-17
- MSR：测试时从真实语料挖掘类别模式提升生成多样性 — Kostas Triaridis · 2026-10-17