可解释性研究者建议:别痴迷刷方法,要借其理解模型运作机制
thebasepoint · x · 2026-09-27
一位从事可解释性研究的作者给同行的建议是:不要只盯着把某个方法做到指标最大化(hillclimbing),而应关注该方法揭示了模型的哪些运作原理——什么样的信息以什么排列方式可被访问,以及如何利用这一点去解释现象或催生新方法。
他还提到目前外界的方法流行趋势像跷跷板一样摇摆,NLA(一种新方法)也才发布四个月,反映出这个领域迭代非常快。
所属事件:可解释性研究者批评SAE收效有限,呼吁转向理解机制(3 条相关)→
「研究」频道最新
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16
- MIT 团队发布 DySENSE:卫星图像生成对齐的城市月度建筑能耗地图 — MIT · 2026-11-16
- Continual-ARC:终身任务流测智能体技能习得,多数 harness 不敌简单缓存 — unifyai · 2026-11-16
- 研究发现多数 VLA 预训练后丢失视觉语言能力 — DJiafei · 2026-11-16
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- 训练 Qwen3-8B 驱动模拟机械手:模型内部长出独立「压力」编码通道 — repligate · 2026-11-16