kalomaze:主张去 attention 的前提本身就不成立
kalomaze · x · 2026-11-03
kalomaze 继续反驳:原观点假设存在一个"必须移除 attention 才能受益"的颠覆性改进,这比"颠覆性改进"本身更罕见、更特殊——即使存在架构跃迁,attention 也可能只是搭了便车而非必须被抛弃。
所属事件:kalomaze 与 DiscipleOfZara 激辩 Transformer 架构演进之争(5 条相关)→
「研究」频道最新
- 清华团队开源 Apex-35B:AI 自动研究系统造出通用模型 — jiqizhixin · 2026-11-03
- JEPA 表示对齐定理引争议：正样本选择折射世界观假设 — AnnaCiaunica · 2026-11-03
- 微软 MAI-DxO 登 Science:304 例复杂病例诊断准确率 83% 对医生 36% — jiqizhixin · 2026-11-03
- Google 开源 EmbeddingGemma 2 论文:统一多模态嵌入,小模型胜大模型 — osanseviero · 2026-11-03
- 北大等发布 Reviso:Agent 式视频描述学会「抓重点」 — Tengfei Liu · 2026-11-03
- 斯坦福发布协作智能基准:最强模型当队友只得 82.2 分 — StanfordUniversity · 2026-11-03