摩根士丹利 PreSTO:子树预取加速 LLM power sampling 最高 2.33 倍
morganstanley · hf · 2026-10-12
摩根士丹利团队提出 PreSTO,通过预测性子树预取加速 LLM 推理期的 power sampling。
- 问题:power sampling 的采样器 PowerMH 依赖顺序 Metropolis–Hastings 更新,每次接受/拒绝决定下一提议的生成起点,速度慢。
- 方法:将未来 MH 结果视为接受/拒绝决策树,每次模型调用批量生成预取子树的提议,再沿实际路径按原 MH 接受规则执行,可证明不改变 MH 转移核;另设计预测遍历规则,优先选完成转移数最多的子树。
- 结果:在 7 个数据集与 5 个基座 LLM 上,对 PowerMH、EntropyCut、MultiTryMH 中位加速分别达 1.71、1.91、2.33 倍;前两者模型调用中位减少 3.9 倍,每次调用仅长 2.1 倍;LCB V6 + Qwen3.5-9B 上预测遍历再快 1.25–1.37 倍。
所属事件:PreSTO 预测式子树预取为 LLM Power Sampling 提速至 2.33 倍(2 条相关)→
「Infra」频道最新
- 开源榜单 whatmodel.sh：按你的硬件推荐能跑的最佳本地模型 — jakecoolguy · 2026-10-12
- 6 张 3090 跑 Qwen3.8-Flash-Next:262k 上下文带 7 用户,vLLM 补丁详解 — flynth92 · 2026-10-12
- 电网成 AI 新瓶颈：Entergy 威胁高峰断电，AWS 推 Falcon 应对 — kimmonismus · 2026-10-12
- AI 并非总吃满 GPU：开发者吐槽常见误解 — mgostIH · 2026-10-12
- Yandex 称数据中心受损服务故障，网友玩梗「Internyet」 — kingslyj · 2026-10-12
- Linus Torvalds 用 Claude Code 优化内核,读性能提升至 3 倍 — PointmanW · 2026-10-12