kalomaze:不相信抛弃 attention 能带来颠覆性架构进步
kalomaze · x · 2026-11-03
kalomaze 在与 @DiscipleOfZara 的争论中表示,从概念层面他不相信当前训练目标能从"彻底扔掉 attention"式的颠覆性架构变革中获得实质收益,认为这类"推倒重来"的设想属于过度乐观的 hopium。这是关于 Transformer 架构是否会被取代的争论的一部分。
所属事件:kalomaze 与 DiscipleOfZara 激辩 Transformer 架构演进之争(5 条相关)→
「研究」频道最新
- Harmonic 推 Aristotle：39 分钟形式化验证浮点 SRT 除法器 — satnam6502 · 2026-11-03
- Harmonic 将在 REACH 2026 演讲：用 AI 定理证明器无幻觉合成硬件 — satnam6502 · 2026-11-03
- 零化 Qwen3.5-0.8B 单个权重列，同一提示从坏椅子变正确椅子 — victormustar · 2026-11-03
- 实验数据引导 AlphaFold3，Nature Biotech 论文解决构象坍缩问题 — mmbronstein · 2026-11-03
- 小米开源机器人基础模型 Xiaomi-Robotics-1，10万小时轨迹覆盖1700场景 — CyberRobooo · 2026-11-03
- Spacy 創始人 Honnibal 批評 LLM 權重讀寫研究摘要:各實驗方法並不相同 — honnibal · 2026-11-03