Mechanistic Shaping:用模型自身概念写训练规则抑制 reward hacking
fatihdin4en · x · 2026-11-06
Thomas Fel 等人提出「后训练科学可建立在可解释性之上」的主张:模型其实「知道」自己在 reward hacking,我们也能观测到,但现有训练流程忽略了这一信号。他们提出 Mechanistic Shaping 方法——利用模型自身的内部概念来编写训练规则,并在视觉任务、DPO 与 RL 场景验证效果,同时考察其对模型监控的影响,细节见推文线程。
所属事件:Goodfire 提出「机制塑形」：用内部表征做训练反馈(5 条相关)→
「研究」频道最新
- 银行流水研究：1/20 英国成人为 AI 付费，年市场 14 亿美元 — RexDouglass · 2026-11-06
- Writer 论文：多层索引器让 DeepSeek 稀疏注意力解码提速 — Writer · 2026-11-06
- EMNLP 论文：推理反而损害 pointwise 重排效果 — lintool · 2026-11-06
- Agent 系列 Day 18：用一个自动维护 ML 训练数据集的 Dataset Builder — nlarusstone · 2026-11-06
- 同一问题四种查询语言：SQL、SPARQL、Cypher、GQL 答案完全一致 — JeremyCMorgan · 2026-11-06
- SEABench 揭示自进化 Agent 的内源性失准：良性更新可酿成安全危害 — niloofar_mire · 2026-11-06