推友激辩:CoT 提示是不是一种参数复用?
aryaman2020 · x · 2026-09-03
aryaman2020 与前 Llama 研究员 Suchin Zeng 就「参数复用」展开技术交锋:他主张对更多 KV 缓存重复运行同一组参数(如循环层/层循环)可视为一种参数复用形式,并类比 CoT 的作用;Suchin Zeng 反驳称 CoT prompting 与参数复用完全是两回事。后续 aryaman 进一步补充:从「KV 作为快速权重(fast weights)」的视角看,参数复用的标签显得武断——循环层时每步输入的激活也在变化,这些激活本身也可以看作快速权重,这也正是 TTT(test-time training)追求更强表达能力的动机。
「研究」频道最新
- RSA-260 被成功分解，刷新通用大数分解世界纪录 — marvinvonhagen · 2026-09-03
- Scott Aaronson 悼念「怪圈」:自我指涉并非智能的秘密 — jfischoff · 2026-09-03
- 简单方法胜出:线性变换在单细胞批次校正上击败深度学习 — arjunrajlab · 2026-09-03
- SimLoss 单遍细粒度图像描述,低延迟媲美多阶段方法 — Suryaansh Jain · 2026-09-03
- Tenstorrent 联手日本机构推 JapanFold，免费提供开源制药模型推理 — DavidBennett__ · 2026-09-03
- Until 用 AI 把低温保护剂候选分子筛到 25 万个 — NirantK · 2026-09-03