新架构 BDH 匹配 GPT-2 缩放规律,单 GPU 即可训练
Candid-Tackle-9061 · reddit · 2026-08-10
Pathway 提出了一种名为 BDH 的后 Transformer 架构。据其展示的数据，该架构在从零开始训练的情况下，成功匹配了 GPT-2 从 1000 万到 10 亿参数的缩放表现，并且能够在普通 GPU 上运行。
「研究」频道最新
- 欧盟数字服务法采纳新规：用精确率与召回率评估内容审核 — robinomial · 2026-08-10
- 仅用984个参数实现MNIST分类,验证集准确率达62.46% — Tall_Abrocoma_3533 · 2026-08-10
- 深度思考：AI 智能体为何难以用「人类员工」逻辑来理解？ — curious_vii · 2026-08-10
- 超越图灵：如何科学测试大语言模型的智能？ — ArtificialOther · 2026-08-10
- 论文探讨：在工具调用中应用投机解码 — Illustrious-Swim9663 · 2026-08-10
- 图解 LLM 推理：自回归生成与投机解码原理 — Abhishekcur · 2026-08-10