矩阵乘加速更像是数值更多塌缩到极值
gordic_aleksa · x · 2026-07-27
回复认为，inf 本身也可能让 matmul 更快，所以如果只是把 inf -> 0 那一小部分映射掉，并不能完全解释速度提升。
更可能的原因是：整体上有更多数值被映射到了极端值，尤其是 inf 和 0，从而改变了更大范围的计算模式。
「研究」频道最新
- 上周机器人论文盘点：BFM-Zero 训练提速 1.3 倍 — carlosdponx · 2026-07-27
- Laguna 测试 2.75 和 3.25 bpw 量化方案 — QuixiAI · 2026-07-27
- Nature Communications 推出 PeptiVerse，统一预测肽可开发性 — Ghost_Pilot_MD · 2026-07-27
- Google 的 CodeMender 已能独立使用，但最强版仍需邀请 — shashib · 2026-07-27
- TB2-Fn 发现 agent 可刷过 7 个终端任务并误差达 40% — abeirami · 2026-07-27
- 改 chunk 长度会改基准，不只是改一个 perplexity 数字 — gordic_aleksa · 2026-07-27