算子融合优化让 975B 参数大模型提速 18%
yisongyue · x · 2026-08-12
AsariAILabs 分享了针对 thinkymachines 研发的 975B 参数模型 Inkling 的优化实践。通过在并发度 c=32 时进行算子融合，生成的内核在 c=1 到 128 的全区间内均实现了加速。
该优化使得模型的交互性与吞吐量双双提升，最高幅度达 18%。
「Infra」频道最新
- macOS虚拟化突破：Apple Silicon跑大模型速度暴增超10倍 — Scobleizer · 2026-08-12
- 小米与宇树锁死全球快门传感器产能，冲击美国人形机器人量产 — Scobleizer · 2026-08-12
- 逃避地球内卷：太空数据中心正成为 AI 算力新前沿 — DavidLinthicum · 2026-08-12
- 单卡 GH200 跑出 3323 tok/s 极限推理 — MaziyarPanahi · 2026-08-12
- NVIDIA 教程：通过 Sync 连接两台 DGX Spark 组建集群 — NVIDIA Developer · 2026-08-12
- 推理与智能体爆发：AI Token 消耗量半年激增 14 倍 — robleclerc · 2026-08-12