HyperThink 开源:超网络按题写入权重更新,让 LLM 跳过思维链
udmrzn · x · 2026-11-20
COLM 2026 论文 HyperThink 的代码与权重正式开源(KAIST 与 NYU 合作,MIT 协议)。
核心思路:训练一个超网络(hypernetwork),把每个问题文本转成对冻结 LLM 的一次参数更新,让模型无需显式思考链即可作答——即「用权重思考而非 token 思考」,迈向准确的 System 1 推理。
- 超网络为每个问题预测 query 条件化的参数更新
- 用向量量化解码器正则化这些更新
- 训练信号来自基座模型思考后得到的正确答案
- 作者在 COLM 会议现场展示(board #97)
「研究」频道最新
- 模型自改权重:27B 无梯度自优化,8 轮迭代准确率持续上升 — Jiajun Fan · 2026-11-21
- Stability 研究团队提出 PMD 蒸馏:匹配倾斜均值即可锁定教师后验 — ArashVahdat · 2026-11-21
- NeurIPS 论文:树搜索引导扩散模型,单次搜索覆盖多目标 Pareto 前沿 — CatAstro_Piyush · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- 黎曼猜想真被证明了会改变什么?答案:几乎不影响日常,四页纸加 1700 万行 Lean — stingning · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21