测试时扩展去哪了?一年前的 pass@k 巨额采样如今已可一发命中
marc_lelarge · x · 2026-10-15
Marc Largouët(作者 marclelarge)发问:测试时扩展(test-time scaling)现在怎么样了?一年前,业界还在对很多问题使用「荒谬地大」的 pass@k 大规模采样才能解决;如今这些问题已可 one-shot 直接命中。他配了一张证明生成方法的 pass@k 数据表,显示 DeepSeek-Prover-V2(CoT, 671B)在 pass@8192 下达 88.9%,Kimina-Prover-Preview(72B)达 80.74%。
他抛出几种可能:测试时扩展是否还在实际使用?还是主要用于产出更好的数据集来训练新模型?抑或根本没在用、只是烧 token 的噱头?
「模型」频道最新
- 用户吐槽:ChatGPT 和 Claude 上手极易，Google 平台门槛成了真实高墙 — dreamwieber · 2026-10-15
- GPT-6.1 Sol 出现容量告急，用户吐槽报税季挤爆 — MikePFrank · 2026-10-15
- Gemini 4 触发 cyber/CBRN 红线，Anthropic 研究员提示关注 CoT 透明度 — vkrakovna · 2026-10-15
- First Proof 第三批结果:顶级数学家出题实测各 AI 证明系统 — littmath · 2026-10-15
- Google 登顶 Signal65 PINNACLE 智能体榜：单任务成本 $0.87 反超对手 — ryanshrout · 2026-10-15
- DeepSeek V4.1 Flash 成本效率登顶:每任务仅 $0.134 — bindureddy · 2026-10-15