1B 小模型 BeyondAIME 得 74.25%,仅用 300B token 训练即超 30B 模型

tensorqt · x · 2026-09-22

独立实验室 Paradigma 发布首个模型 Limite 1B(Violetto),主打高吞吐数学推理。要点:

• 10 亿参数稠密自回归 transformer,从零训练,数据仅约 300B 精选 token,上下文最长 131k
• 架构借鉴 pre-training speedrun 社区的成果,数据高度精选带来极高样本效率
• 采用合成数据生成 + 精选 SFT + RL 后训练,竞赛级数学成绩可与体量大数十倍、算力高几个数量级的模型抗衡:BeyondAIME 平均 74.25%,超过 MUSE-Glimmer-30B 的 70%
• 刻意做极轻指令微调,定位单轮问答,挑战「模型必须套助手人格才能好用」的假设

开源了模型权重、训练中使用的价值模型,以及一个自定义 vLLM 推理插件;详细技术报告即将发布。团队表示这是其面向科学与自主研究系列模型的第一步。

原文链接 →

「模型」频道最新

• 让两大前沿模型操纵真实机器人玩夺旗，Gemini 以 70% 胜率碾压对手 — chris_j_paxton · 2026-09-22
• Jev 推出 completions API：官方明确称别拿它做文本生成，只该用于分类打分 — AlexandrePesant · 2026-09-22
• 独立开发者发声：早在一年前就做出非自回归决策模型，称遭前沿实验室抢发 — HowDevelop · 2026-09-22
• 实测评测:105 个植入 bug 下 Grok 4.7 仅 28.7 分,不敌 GPT-6 — PawelHuryn · 2026-09-22
• 对 OpenAI GPT-5.6 发布页三个基准做回归,反推其 λ 取值 — tobyordoxford · 2026-09-22
• Paradigm 发布 Limite 1B:仅 300B token 从零训练出数学小模型 — tensorqt · 2026-09-22

更多「模型」频道 AI 资讯 →