Google 论文数学证明:训练数据缺技能时,推理越长错误越爆炸
solyarisoftware · x · 2026-09-06
Google 研究《Understanding the Role of Training Data in Test-Time Scaling》从数学上证明了一个反直觉结论:强迫模型在推理时"想得更久"可能主动损害准确率,引发"灾难性过度思考"。
核心发现:
- 技能覆盖约束:若某项技能在训练数据分布中没有体现,扩大 test-time 计算只会放大噪声,推理链越长错误越爆炸——test-time scaling 只有在模型 underlying 技能已存在时才有效。
- 上下文与算力的权衡:在固定错误率下,扩展测试时推理步数可以大幅缩短训练所需的上下文长度和 in-context 示例数量。
- 特征值难度定律(Eigenvalue Hardness Law):论文给出了任务难度的谱刻画(推文截断处)。
推文还引用了一篇配套的 Test-Time Compute Engineering 长文教程,覆盖动态算力预算、搜索树拓扑、过程奖励验证器等工程化架构设计。
「研究」频道最新
- PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- Next-Concept Modeling 论文称分层概念码并行生成，速度最高达扩散 LLM 的 31 倍 — PanelReader · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23