PreSTO 预测式子树预取将 LLM Power Sampling 提速至多 2.33 倍
du_yilun · x · 2026-10-12
Nan Jiang 等人发布 arXiv 论文 PreSTO（PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling），在不动模型和采样器语义的前提下大幅加速 power sampling——一种在测试期通过从锐化分布采样提升 LLM 推理能力、无需额外训练的方法。
核心问题：power sampling 的采样器 PowerMH 依赖 Metropolis–Hastings 更新，接受/拒绝决策是串行的，每一步状态决定下一步提案来源，导致很慢。
方法：
- 把未来的 MH 结果视为一棵接受/拒绝决策树，每次模型调用批量生成一棵预取子树的提案，再沿实际路径按原始 MH 接受规则行走，可证明不改变 MH 转移核
- 利用 MH 实际只触及子树中稀疏近单元路径的观察，设计预测式遍历规则，选择能最大化预期完成转移数的子树
结果：跨 7 个数据集、5 个基础 LLM，PreSTO 对 PowerMH、EntropyCut、MultiTryMH 分别取得 1.71×、1.91×、2.33× 中位加速；对前两者模型调用次数中位减少 3.9×，单次调用仅长 2.1×。
所属事件:PreSTO 预测式子树预取为 LLM Power Sampling 提速至 2.33 倍(2 条相关)→
「研究」频道最新
- 数学家自述:从质疑到乐观,AI 正在攻克我的「北极星」难题 — kevinakwok · 2026-10-12
- Work2Skill 从人类 GUI 演示提炼可复用 Agent 技能,评测全面领先 — nex-agi · 2026-10-12
- 500 小时视触觉数据集 TouchScale:机器人操作成功率 22.5%→57.5% — 2077AIDataFoundation · 2026-10-12
- UCSD 新论文：把心智理论写进 RL 奖励，7B agent 学会揣摩对手 — rohanpaul_ai · 2026-10-12
- 2.03 亿篇科学论文全部向量化，免费开放给 AI Agent 检索 — evilsocket · 2026-10-12
- 物理学定律给扩散模型定噪声表：粒子扩散预测更准 — bravo_abad · 2026-10-12