研究称测试时推理时代 Chinchilla 20 token/参数是最优比已失效
josh_wills · x · 2026-09-05
数据公司 Datology AI 发布 Nicholas Roberts 的演讲，提出新的 Train-to-Test（T²）缩放定律：将 pass@k 纳入预训练缩放框架后，一旦模型具备测试时推理能力，计算最优策略会大幅偏向「小模型 + 超量数据」。
- 演讲举例：一个 350M 参数模型被训练到每参数超 8 万 token，按直觉是浪费，但在新缩放律下却是最优解
- Chinchilla 经典的 20 token/参数在推理时代是错误目标
- 代价是会更早撞上数据墙，数据质量的重要性被急剧放大
该观点对预训练配方与算力分配有直接指导意义。
「研究」频道最新
- 奖励10^9的"aaaaa"串反而是LLM最该避免的选择？ — jessi_cata · 2026-09-05
- VeriPhy:用类型化物理义务对世界模型生成视频做可审计验证 — Wenzhuo Xu · 2026-09-05
- Agent 评测框架 TRACES 上线:考察实时执行而非对答案 — SucceededMind · 2026-09-05
- Domingos 反讽：我的「新点子」RNN 做对了能碾压 Transformer — pmddomingos · 2026-09-05
- LoRA 作者发博文详解开源模型后训练与 RL 实操 — iamrobotbear · 2026-09-05
- CoT 监控热议下，一视频带你窥探 LLM 内部思维过程 — kastnerkyle · 2026-09-05