解码更快不等于 agent 先跑完:prefill 速度决定胜负
AIFlow_ML · x · 2026-11-20
- redp314 在单台 DGX Spark 上用同一 Qwen3.8-27B 对比 TensorFold 与 SGLang 跑同一个编码 agent 任务。
- TensorFold 生成速度更快(52.7 vs 40.8 tok/s),但 SGLang 读 prompt(prefill)快约 60%,最终 agent 任务整体获胜。
- 核心结论:agent 读取的 token 远多于生成的 token,只看输出 tok/s 会误判推理引擎优劣,评测 agent 场景应重点测 prefill 速度。
「编程与Agent」频道最新
- 低多边形 3D 地标开源仓库爆火,AI 生成桥梁地标持续扩充中 — tomjohndesign · 2026-11-20
- SwirlAI 长文:Agentic RAG 系统中决策模型的九个插入点 — blaizedsouza · 2026-11-20
- Agent 工具守则:不可撤销且外人可见的操作必须人工审批 — Beneficial_Use2116 · 2026-11-20
- 流传「Claude Code Harness 架构」长文:模型只是引擎,harness 才是整车 — blaizedsouza · 2026-11-20
- 「我已不再手动开 ComfyUI」:用 Claude 在容器里全自动跑图 — xWranglerWranglerx · 2026-11-20
- AI 从零写代码驱动真实机械臂下国际象棋,全程开源 — FinanceYF5 · 2026-11-20