循环复用参数算不算反 scaling?研究者激辩 looped 模型的算力取舍
bookwormengr · x · 2026-09-03
Suchenzang 称“在前向传播中反复复用同一组参数是最反 scaling 的做法,浪费宝贵的算力”。有人回应:自回归模型本来就在复用参数,looped 模型只是在同一 token 位置上多循环几次,本质并无不同。讨论触及 looped/recurrent depth 与 scaling 路线的取舍。
「研究」频道最新
- 简单方法胜出:线性变换在单细胞批次校正上击败深度学习 — arjunrajlab · 2026-09-03
- SimLoss 单遍细粒度图像描述,低延迟媲美多阶段方法 — Suryaansh Jain · 2026-09-03
- Tenstorrent 联手日本机构推 JapanFold，免费提供开源制药模型推理 — DavidBennett__ · 2026-09-03
- Until 用 AI 把低温保护剂候选分子筛到 25 万个 — NirantK · 2026-09-03
- 推友激辩:CoT 提示是不是一种参数复用? — aryaman2020 · 2026-09-03
- LL(1) 语法约束解码实测：消除 Agent 语法错误,高层失误仍在 — Upstairs-Special-925 · 2026-09-03