新研究：模型激活表征可预测价值观对齐的跨任务泛化
dhadfieldmenell · x · 2026-10-14
Mehar Bhatia 与 uilydna 等发布论文《Predicting Alignment Generalization with Value Representations》，研究能否提前预测价值观对齐在训练中的泛化效应。
- 跨模型家族、规模与训练方法的发现：从模型激活导出的表征，比价值观的文字描述更能刻画训练中各价值观之间的关系
- 这类表征可在训练前评估对齐目标——目标中的价值观结构越连贯，训练出的模型对对抗性提示越鲁棒
- 该结构在不同模型间大体共享，作者据此提出 ValueMap，用于设计更好的对齐目标
动机：模型 spec 与 constitution 列出大量应遵循的价值观，但它们通常通过审议选定，缺乏对其在训练中如何相互作用的实证理解。
所属事件:新研究用价值表征预测对齐训练的跨任务泛化效应(3 条相关)→
「研究」频道最新
- NeurIPS 2026 论文 RISE：进化攻击策略，突破文生图模型最高级别安全护栏 — rohanpaul_ai · 2026-10-15
- 用 Brainfuck 复现人工生命论文:随机程序自发演化出自我复制者 — spikedoanz · 2026-10-15
- 分类器扫遍 42000 篇 ICLR 2027 投稿：过半论文疑似全程 AI 辅助 — nsaphra · 2026-10-15
- 第四届 LLM4Code 研讨会征稿:落脚 ICSE 2027 都柏林,截稿 2026 年 11 月 — LingmingZhang · 2026-10-15
- ELSA3D 入选 NeurIPS：单一骨干网同时生成 3D 资产并做语言描述 — CSProfKGD · 2026-10-15
- 权重挪动 1.3% 表征大变，HNC 方法挑战柏拉图表征假说 — neuroecology · 2026-10-15