潜在反馈4行代码省46%预训练算力,省的数据随模型变大而增多
_arohan_ · x · 2026-11-14
一项新研究提出「Latent Feedback」方法：把 Transformer 顶层隐状态反馈回输入层，让每个 token 和每份 FLOP 发挥更大价值。
关键结果：
- 同等数据下，100 unique tokens/parameter 时节省 15% 训练算力，400 时节省 46%（2 epoch 预算）
- 同等 epoch 下，60M 模型节省 10% 独立数据，778M 模型节省 20%（1 epoch）
- 下游评测（37 套件 109 任务）：4 epoch 预算下在全部 17 个设置中领先
- 拟合的 scaling law 预测节省随模型规模持续增长
作者称高质量数据正在限制现代预训练，而该方法只需 4 行代码即可实现。
「Infra」频道最新
- Ollada:扩散语言模型版 Ollama,收录 1.7B–8B 六款模型 — OpenSourceRulesz · 2026-11-14
- Caltech 数学马拉松获共享算力网格支持，面向大院外研究者 — _sathvikr · 2026-11-14
- AWS 官方教程：零改造实现 Bedrock 上 Claude Code 等工具的按人成本核算 — AWS ML Blog · 2026-11-14
- 北达科他小镇公投3:1否决数据中心限制令,市长逐一驳斥担忧 — kevinnbass · 2026-11-14
- 开源项目宣称 RTX 4090 跑 Qwen3.6 提速 6-11 倍,附完整仓库 — AI4Science · 2026-11-14
- 研究称中国最强 AI 模型竟用被禁 Nvidia 芯片训练 — TechCrunch AI · 2026-11-14