新论文提出第四维 scaling:复用权重增加「虚拟逻辑深度」提升推理
qinzytech · x · 2026-09-04
arXiv 论文提出在深度、宽度、参数量之外的第四个 scaling 维度:虚拟逻辑深度(VLD),通过在训练和推理时复用权重、改变内部计算图来提升有效算法深度,不增加参数量。
三个关键发现:
- 知识容量 vs 参数:固定参数量下 VLD 几乎不改变知识容量,容量仍随参数扩展;
- 推理 vs 复用:恰当实现的 VLD 在不增加参数的情况下显著提升推理能力,把推理能力与模型规模解耦,提供了 token 级测试时扩展之外的新 scaling 路径;
- 鲁棒性与通用性:推理收益跨架构、跨复用调度均成立。
作者由此提出问题:超级智能是否必须依赖更大的模型,还是可以通过复用参数、加深逻辑深度实现?
「研究」频道最新
- Kangwook Lee 澄清：智能体足够强时 harness 可在 rollout 中自行进化 — Kangwook_Lee · 2026-09-04
- 用贝叶斯 Bandit 从数学上定义「好奇心」 — CatAstro_Piyush · 2026-09-04
- 《百页语言模型书》出暗黑版:用数学、插图与代码讲透 LLM — burkov · 2026-09-04
- 阿里 CORE 论文：用 Reranker 蒸馏提升多模态嵌入的组合推理 — Alibaba-NLP · 2026-09-04
- On-policy 蒸馏再思考：单个样本即可持续提升，缺的是算法而非数据 — Thinking-Space · 2026-09-04
- WorldReward：用视觉-语言奖励模型评估相机条件世界模型 — Yibin Wang · 2026-09-04