从业者质疑推理引擎刷 tok/sec：实测任务根本跑不出这些数字
TheZachMueller · x · 2026-11-12
@bnjmnmarie 指出「tok/sec」指标正在失去意义：随处可见远超真实任务可达成水平的数据，X 平台算法奖励这类炒作，一些本有口碑的优秀定制推理引擎为追求漂亮数字而拿声誉冒险。Hugging Face 的 TheZachMueller 转发并补刀：「给我们看 AgentX，否则就别报这个数」——呼应社区对用真实 agent 任务基准取代裸吞吐量数字的呼声。
「Infra」频道最新
- Kaspersky 披露 Black Owl APT 渗透软件商基础设施图谋供应链攻击 — cyb3rops · 2026-11-12
- Qwen3-8B 推测解码草稿模型横评：WhiFlash 思考模式下 token 命中领先 — maxsloef · 2026-11-12
- AMD 展示用 Ryzen AI Max 迷你主机本地跑 MolmoAct2 机器人策略 — DJiafei · 2026-11-12
- 观点：AI 基础设施正演变为「编码运行时」，智能单元将超越 token — prateekj · 2026-11-12
- 开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型 — jjusko20 · 2026-11-12
- Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍 — jasonkneen · 2026-11-12