推理中的采样控制与预算优化路径
sloppenheimer · x · 2026-08-23
讨论了“在轨道上”（on rails）在推理中的多种含义，包括截断思路的恢复或通过摘要进行概念压缩。指出Token预算是糟糕的限制模型，模型不知道剩余预算。主张在推理时进行主动引导（类似 Entropix），并探索更多的采样工作。
所属事件:社区讨论 Token 预算并非限制模型推理的好方案(3 条相关)→
「研究」频道最新
- DeepMind 前员工创业小模型科研复现超巨头 — emmanuelvivier · 2026-08-23
- 质疑 OBLIQ 任务是否导致模型过拟合特定相似度 — antoine_chaffin · 2026-08-23
- 扫描 1.3 万个 MCP 端点：开源迁移检查器实测报告 — Fearzigdotss · 2026-08-23
- 开源项目：实现 LLM 文本水印最小化教学版 — Saad_ahmed04 · 2026-08-23
- 实测报告：量化位宽对现代模型影响有多大？ — KitchenAmoeba4438 · 2026-08-23
- 港中深与中科大推 VideoCoCo，代码推理提升视频物理真实感 — jiqizhixin · 2026-08-23