机制可解释性也是数据问题:1 万个任务即可定位 reward hacking

burny_tech · x · 2026-11-08

@sensho 提出一个把机制可解释性(mech interp)视为数据工程的思路:如果我们构造 1 万个任务,其中 5000 个明确定义了 reward hacking、5000 个保证干净,就可以做大量 rollout,测量两类任务下模型激活的差异,从而找出「模型内部的某簇激活」与 reward hacking 发生概率的对应关系。他认为这本质上是一个非常繁琐的数据工作——构造上万条这样的任务——而非算法或架构上的完全突破。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →