从业者泼冷水：约三分之二场景 LLM 推理提速并不惊艳，全靠投机解码撑门面
teortaxesTex · x · 2026-09-23
PrinceCanuma 在讨论 LLM 推理提速时称，约 65%-70% 的情况下速度提升并不令人印象深刻，「离落伍只差一个 PR」，其余场景主要依赖投机解码（speculative decoding）和 prompt lookup 等技术。这是对当前推理加速宣传的一次务实反驳。
「Infra」频道最新
- 工程师求全离线文档问答方案：Ollama+Open WebUI+RAG 组合获荐 — betobagio · 2026-09-23
- 评论者批 Googlebook 硬件无野心：Intel NPU 放弃消费级市场 — julianharris · 2026-09-23
- vLLM 支持 Google DiffusionGemma：块扩散 MoE 吞吐约提升 1.9 倍 — vllm_project · 2026-09-23
- Kimi K3 等开源大模型或严重欠训练，数据 scaling 远未见顶 — zeeshanp_ · 2026-09-23
- ZeroHedge 称 OpenAI Stargate 两大数据中心融资告急、进度延误 — ns123abc · 2026-09-23
- DarkbloomAI 付费一个月：日处理 token 从 4B 涨到 20B+ — gajesh · 2026-09-23