潜层反馈机制省 46% 算力,仅四行代码即可实现
IFM · hf · 2026-11-17
Latent Feedback Transformer 将每个 token 的顶层隐藏状态馈入下一个 token 的输入,可显著提升训练的计算与数据效率。
- 实现极简:训练循环只需增加 4 行代码(对上一层状态的 nograd 前向计算 + rmsnorm 后加到输入嵌入)
- 算力节省随数据/模型比变化:每参数 12.5 个唯一 token 时为 -8%,100 时省 15%,400 时省 46%
- 独特数据节省在 10%-20% 之间,随模型规模增大而上升(60M 省 10%,778M 省 20%)
- 缩放规律预测:模型扩到 10B 可省 34% 算力,唯一数据增至 1000 TPP 可省 60%,训练轮数从 3 增到 8 可省 49%
- 结论:潜层反馈是算力和数据的放大器,在独特数据相对模型规模充裕时收益最大
「研究」频道最新
- PaperCritic:RL 训练的 AI 审稿人在可靠性评估上超越前沿模型 — CarnegieMellonU · 2026-11-17
- 上交大 Calpha:通用 LLM 从内部残差状态直接输出蛋白质结构 — SJTU · 2026-11-17
- LoopFill 无训练投机解码加速 Looped Transformer 推理 — UIUC-CS · 2026-11-17
- AllocFlow:从原始行情直接生成组合仓位,加密永续风险调整收益提升 — Annan Wang · 2026-11-17
- SPILLWAY:零模型调用的确定性防线,模板注入攻击全部拦截 — saintmachines · 2026-11-17
- VoxMel TTS:免 tokenizer 自回归语音合成,Haar 变换分层生成 — VoxDance-Lab · 2026-11-17