InferenceBench：前沿模型推理优化加速比一年增至12倍

InferenceBench 公布 2025 年 9 月至 2026 年 10 月的历史趋势：前沿模型在推理优化任务上的加速比从 3x 提升至 12x，倍增时间约 6.3 个月。全榜结论显示，在 prefill 延迟、decode 延迟、吞吐和综合四个推理服务瓶颈场景中，前沿 coding agent 优化普遍跑赢 PyTorch 等引擎默认配置，但仍逊于超参数搜索的效果。

2026-11-09 ~ 2026-11-09 · 2 条相关