dotConferences 演讲上线:投机解码如何加速 llama.cpp 生成
ngxson · x · 2026-10-10
ngxson 在 dotConferences 的演讲回放已上线。他深入讲解了投机解码(speculative decoding)以及 dflash/dspark 的原理,说明这项技术如何提升 token 生成速度,并演示了在 llama.cpp 中的易用接入方式。
所属事件:dotConf 演讲回放:投机解码加速 llama.cpp 推理(2 条相关)→
「编程与Agent」频道最新
- 《Building LLM Applications with DSPy》出版:用软件工程方法替代脆弱 Prompt — lateinteraction · 2026-10-10
- 阶跃 Step 5 Preview 上线 Kilo:6000 亿参数、百万 token 上下文,免费一周 — StepFun_ai · 2026-10-10
- YC 合伙人分享多智能体协作法:让 agent 互写简报像中层经理 — ycombinator · 2026-10-10
- AI 写作技能让作者周产 4 篇,瓶颈反成人类编辑 — danshipper · 2026-10-10
- AI 助手翻遍账单邮件,帮用户找回近 2000 美元 Azure 额度 — pswider · 2026-10-10
- AI 工具 HQ 大更新:任意项目接入、独立 Postgres、交互式页面 — jacob_posel · 2026-10-10