开发者在物理 Transformer 中复现 Kimi AttnRes：loss 收敛更快
burny_tech · x · 2026-10-27
开发者 burnytech 尝试将 Kimi Team 新论文《Attention Residuals》中的方法加入 General Physics Transformer，报告 loss 下降更快。配图给出复现对比：加入 Block Attention Residuals 后辐射层 12 步 NMSE 从基线 0.39277 降至 0.28917。此帖与信息更完整的讨论串帖为同一事件。
「研究」频道最新
- Yoav Artzi 用 COLM 真实数据模拟 4 种「限额审稿」会议机制 — yoavartzi · 2026-10-27
- 实测发现 Qwen 有 9 个「性别神经元」，激活后自称男或女 — burny_tech · 2026-10-27
- GPT-6-Astra 具身智能评测:12 项基准多项逼近 100% 成功率 — chris_j_paxton · 2026-10-27
- 开源项目 LEANN 称向量库存储省 97%,6000万文本块 201GB 压到 6GB — Promptmethus · 2026-10-27
- Claude Opus 5.5 一日抛出三大成果:证伪ETH、全维Kakeya、Yang-Mills存在性 — repligate · 2026-10-27
- 传 Anthropic 内部模型论文称推翻指数时间假设 ETH — imjustnewatai · 2026-10-27