新研究声称模型架构可改善 scaling 指数
madhavsinghal_ · x · 2026-09-18
Akshay Vegesna 发布研究称:模型架构本身可以改善 scaling 指数(scaling exponents),即通过改进架构设计而不仅是堆数据与算力,来提升模型随规模增长的性能曲线。该观点若成立,意味着架构创新可以在 scaling law 层面带来结构性收益,而非常数因子的改进。帖中未附详细方法与数据,细节有待原研究展开。
「研究」频道最新
- AI 数据实验室主张：通用合成数据比模型架构更关键 — Paimaamu · 2026-09-18
- 3DV 2027 设 Nectar Track：2 月 15 日截止征稿 — ftm_guney · 2026-09-18
- 开发者做工具拆解 Anthropic Mythos 对话记录，可按标记行为跳转 — round · 2026-09-18
- 研究尝试:48 头注意力校准压缩到 12 头,其余换带状稀疏注意力 — ostrisai · 2026-09-18
- NVIDIA 开源 NeMo Data Designer:声明式配置生成合成数据,把 Nemotron 成绩提 6.7 个点 — dair_ai · 2026-09-18
- Nemotron 团队架构洞见:混合 Mamba-Transformer 无需 RoPE,少量注意力层补齐两大短板 — gordic_aleksa · 2026-09-18