0.63M 参数验证器媲美 7B 模型，AI 推理新极限
jm_alexia · x · 2026-08-21
这项研究探讨了“验证器”模型能做到多小。通过预训练一系列微型模型（最小至 7 万参数），发现仅需 0.63M 参数的模型（在一张 H100 上训练约 2 分钟）即可在特定任务上达到与 7B 模型相当的验证效果。
主要发现：
- Countdown 任务：0.85 分数的最小验证器仅需 0.63M 参数。
- Faithfulness 任务：2M 参数模型（得分 0.83）优于 Gemini 的 Zero-shot 表现（0.70）。
- 实验规模：涉及 19 个模型（11 个从头训练）、3.5B tokens 及 30 GPU-hours。
任务设置：
- Countdown：数字谜题，可精确校验。
- Maze：最短路径判断，可精确校验。
- Faithfulness：判断答案是否有来源支持，无精确 checker，需依赖人工标签并对比前沿 API 模型。
研究旨在解决大规模语料训练中，验证器遍历所有 token 造成的性能瓶颈，为多步推理或智能体集群的快速验证提供新思路。
「模型」频道最新
- Meta 开源 816B 参数 MoE 模型 Muse Spark Open,激活仅 42B — victormustar · 2026-10-16
- Baseten 首日上线 Muse Spark Open API:输入 $1.25/百万 token — baseten · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- d1-ultra 登顶 Artificial Analysis 决策指数，成本仅约 30 美元/百万任务 — JosephJacks_ · 2026-10-16
- 用户喊话 Google：给新模型放宽用量、合并成一个 App — dreamwieber · 2026-10-16
- 用户吐槽:Gemini 网页版可用但编码工具中无权限,体验割裂 — dreamwieber · 2026-10-16