Loopie：更省参数的循环 Transformer
teortaxesTex · x · 2026-07-20
这条是在调侃一篇题为 《Loop the Loopies!》 的论文，但图里给出的实质信息其实是：作者提出了 Loopie，一种循环式 Transformer。
论文声称，在相同训练墙钟时间和匹配的推理算力预算下，Loopie 能击败不带循环结构的对照模型，同时还大约只需要三分之一更少的参数和优化器状态。帖子还指出，这项工作来自北京量化基金 Ubiquant 的 AI 研究部门。
所属事件:Loopie循环式Transformer发布，以极低成本追平大模型(7 条相关)→
「公司和人」频道最新
- 2.5万家非营利组织使用 Claude,Anthropic 推出专用插件扩展技能 — claudeai · 2026-10-27
- KeyBanc:iPhone Duo 预订强劲,首年出货目标上调 44% 至 1400 万台 — asymco · 2026-10-27
- 牛津马丁 AI 治理计划招聘两名技术 AI 验证研究员,提供签证担保 — wfithian · 2026-10-27
- AfterQuery 推出数据合作业务:前沿模型快耗尽公开互联网数据 — ycombinator · 2026-10-27
- 经济学家 Bharat Chandar 出任 GovAI 研究员，主导 AI 经济指标项目 — RishiBommasani · 2026-10-27
- Menlo Ventures 合伙人回忆:当年以 40 亿美元估值押注未发布的 Anthropic — mmurph · 2026-10-27