1B 小模型 BeyondAIME 得 74.25%,仅用 300B token 训练即超 30B 模型
tensorqt · x · 2026-09-22
独立实验室 Paradigma 发布首个模型 Limite 1B(Violetto),主打高吞吐数学推理。要点:
- 10 亿参数稠密自回归 transformer,从零训练,数据仅约 300B 精选 token,上下文最长 131k
- 架构借鉴 pre-training speedrun 社区的成果,数据高度精选带来极高样本效率
- 采用合成数据生成 + 精选 SFT + RL 后训练,竞赛级数学成绩可与体量大数十倍、算力高几个数量级的模型抗衡:BeyondAIME 平均 74.25%,超过 MUSE-Glimmer-30B 的 70%
- 刻意做极轻指令微调,定位单轮问答,挑战「模型必须套助手人格才能好用」的假设
开源了模型权重、训练中使用的价值模型,以及一个自定义 vLLM 推理插件;详细技术报告即将发布。团队表示这是其面向科学与自主研究系列模型的第一步。
所属事件:Paradigm 发布首个模型 Limite 1B，主打高频数学智能(12 条相关)→
「模型」频道最新
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- 开源 Iris-Z 首次让图像生成与深度估计共用一个骨干，9B/32B 全开放 — victormustar · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12