kalomaze 回应架构之争:增量改进下 Transformer 底层其实在持续大变
kalomaze · x · 2026-11-03
kalomaze 回应"从 CNN 到 Transformer 才是范式转变、RoPE/SwiGLU/GQA 都只是增量"的质疑,指出这正是要点:局部看似增量的改进,累积起来底层架构本身已经在大幅漂移,没人会因为一个用了 RoPE、SwiGLU、GQA 的模型就否认它是 Transformer,但这不意味着架构没有实质演进。
所属事件:kalomaze 与 DiscipleOfZara 激辩 Transformer 架构演进之争(5 条相关)→
「模型」频道最新
- NorthCUA-Pro 以 93.3 分刷新 ScreenSpot-Pro 纪录,超 GPT-6 Astra — NielsRogge · 2026-11-03
- 神秘模型 Pulse Alpha Free 现身 OpenCode：百万上下文、暂免收费 — mark_k · 2026-11-03
- 游戏克隆潮泛滥,Anthropic 封禁 Claude Code 复刻现有游戏 — The Decoder · 2026-11-03
- 学者质疑 BioReason 基准：随机打乱输入序列模型竟无反应 — anshulkundaje · 2026-11-03
- 曝 OpenAI 新模型 3 小时算力破解 Navier-Stokes 千禧难题，另攻破 300+ 数学开放题 — haider1 · 2026-11-03
- AgentTime 大更新:GPT 系时间感知领先,任务时长预测最佳误差 2.26 倍 — maksym_andr · 2026-11-03