实测：新硬件 BF16 矩阵乘法提速约 50%，但本地 MoE 推理解码几乎无感
johnowhitaker · x · 2026-10-26
johnowhitaker 回应 @unixpickle 关于新硬件 TFLOPS 提升的讨论：他实测 BF16/FP16/TF32 矩阵乘法确实有约 50% 的算力提升且输出一致，但提醒大家别将其等同于“本地模型快 50%”。在本地 MoE 推理中，prefill 阶段提速不足 10%，decode 速度基本不变——因为推理瓶颈在内存带宽而非算力。
「Infra」频道最新
- MiniMax H3 本地实测：RTX 5070 12GB 即可流畅运行 — BuyVarious176 · 2026-10-26
- dhh 转发:Omarchy Linux 一条命令装进 iPad,全程仅 3.8 分钟 — karlwaldman · 2026-10-26
- 自研推理芯片没那么难：四大原因拆解前沿实验室造芯潮 — IgorCarron · 2026-10-26
- 本机盲测 5 款自托管 AI Agent:Qwen 3.8 27B 跑 5 项日常任务 — GapNew4766 · 2026-10-26
- 马斯克警告：200 多家 AI 云厂商将随债市断供而崩塌或合并 — Polymarket · 2026-10-26
- 马斯克表态:SpaceX 不会采购任何 neocloud 算力,称毫无意义 — ns123abc · 2026-10-26