Reddit 社区质疑刷屏「300 tokens/s」速度帖：极端量化和贪心解码注水
PathfinderTactician · reddit · 2026-11-02
Reddit 用户发帖质疑本地 LLM 社区日渐泛滥的「速度纪录」帖：几乎每天都有人宣称跑出 300 tokens/s，但细看往往依赖极端手段——极小体积的 REAP 量化、贪心解码、TAILSKIP 等忽略未加载专家的技巧。
作者指出这些帖子都没有附 KLD 基准数据来证明输出质量，质疑其对社区的真实价值，引发关于「速度指标是否应该配上质量度量」的讨论。
「模型」频道最新
- Sakana AI 发布自研语言模型 Sawara，首个小模型拟 2027 春公开 — SakanaAILabs · 2026-11-02
- DEJAN 开源文本情感分类模型:7 级打分,精确率 84%,笔记本可跑 — dejanseo · 2026-11-02
- DeepSeek 表态:将逐代适配 pi 等 agent harness,押注规模化路线 — teortaxesTex · 2026-11-02
- 2026 年末 Google 搜索 AI 仍会答错：约翰·列侬之死张冠李戴 — GabGarrett · 2026-11-02
- 欧盟强令 Meta 向竞品 AI 助手开放 WhatsApp,第三方工具遭封后转推替代方案 — SumitGup · 2026-11-02
- DeepSeek V4.1 Flash 2.81bpw EXL3量化版上线,解码提速60% — HankYeomans · 2026-11-02