Loopie：更省参数的循环 Transformer
teortaxesTex · x · 2026-07-20
这条是在调侃一篇题为 《Loop the Loopies!》 的论文，但图里给出的实质信息其实是：作者提出了 Loopie，一种循环式 Transformer。
论文声称，在相同训练墙钟时间和匹配的推理算力预算下，Loopie 能击败不带循环结构的对照模型，同时还大约只需要三分之一更少的参数和优化器状态。帖子还指出，这项工作来自北京量化基金 Ubiquant 的 AI 研究部门。
所属事件:Loopie循环Transformer发布，同算力击败30B基线(6 条相关)→
「公司和人」频道最新
- Tesla 自动驾驶提速，Uber 十年后还值多少 — oilmutt · 2026-07-21
- Applied Intuition 推出 Dana 物理 AI 代理平台 — a16z · 2026-07-21
- Applied Intuition 推出 Dana，谈把智能装进十亿台机器 — a16z · 2026-07-21
- 到 2026 年，AI 或承担 80% 软件工作，但评估方式还停在老时代 — dfinke · 2026-07-21
- Suleyman 说微软在为 OpenAI 关系退出做准备，新芯片比 GB200 便宜 30% — thoefler · 2026-07-21
- OpenAI Build Week 2026 在两座城市办了黑客松和工作坊 — paw_lean · 2026-07-21