kalomaze:比 Transformer 更好的架构一直有,只是被当作「魔改 Transformer」
cephaloform · x · 2026-11-03
kalomaze 回应「OpenAI 为何不寻找超越 Transformer 的架构」的疑问：所谓更好的架构其实不断出现，只是大家习惯把它们归类为「魔改 Transformer」。他举例，GPT-3 的架构在逐项叠加 RoPE、SwiGLU、GQA 等改进的基线对比中都处于下风——架构进步是渐进叠加的，而非另起炉灶。
「研究」频道最新
- 阿姆斯特丹大学 AMLab 招多名博士生,研究物理启发的深度学习 — AnnaCiaunica · 2026-11-03
- CUA-Master 用双循环递进框架持续进化计算机操作 Agent — Xinlei Yu · 2026-11-03
- 上海交大等发布 CrossSWE 基准：编码 Agent 跨仓库协作仍吃力 — Silin Chen · 2026-11-03
- kalomaze:主张去 attention 的前提本身就不成立 — kalomaze · 2026-11-03
- LLM 预测经济学实验效应:最优模型误差仅 0.054 SD,优于传统基准 — RobbWiller · 2026-11-03
- 同一策略换个物理引擎就翻车:Manda 实测四大仿真器迁移效果 — facontidavide · 2026-11-03