Loopie:更省参数的循环 Transformer
teortaxesTex · x · 2026-07-20
这条是在调侃一篇题为 《Loop the Loopies!》 的论文,但图里给出的实质信息其实是:作者提出了 Loopie,一种循环式 Transformer。
论文声称,在相同训练墙钟时间和匹配的推理算力预算下,Loopie 能击败不带循环结构的对照模型,同时还大约只需要三分之一更少的参数和优化器状态。帖子还指出,这项工作来自北京量化基金 Ubiquant 的 AI 研究部门。
所属事件:Loopie循环式Transformer发布,以极低成本追平大模型(7 条相关)→
「公司和人」频道最新
- AI 实验室员工对“明年能做到什么”明显沉默了 — ChrisGPT · 2026-07-27
- Anthropic 被指拿开源 AI 立场做文化筛选 — rdesh26 · 2026-07-27
- 东京 Agent Forge 黑客松一天做出可上线 AI agents — DavidBennett__ · 2026-07-27
- “高中最聪明的人”梗图把 Anthropic 写成了去处 — hingeloss · 2026-07-27
- 组织本身或许就是地球上的超智能 — eldonredwards · 2026-07-27
- AI 需求来自三亿家企业,而非循环融资叙事 — BenBajarin · 2026-07-27