1B 小模型 AIME 2026 考 94 分,Paradigma 开源 Limite 1B Violetto
tensorqt · x · 2026-10-07
Paradigma 团队发布首个模型 Limite 1B - Violetto 的技术报告并开源(Apache 2.0),主打单位能耗与参数下的数学推理能力。
- 规模与数据:10 亿参数,从零训练,语料为精心筛选的数学为中心的 237B tokens,支持最长 131k 上下文;从首批实验到发布仅用 6 周。
- 训练配方:后训练结合知识蒸馏、定向 SFT 与 RLVR 课程;预训练中交替使用 SFT 与 DPPO RL,并借鉴 nanogpt speedrun 的架构成果(NorMuon、MUDD 变体、XSA)。
- 成绩:AIME 2026 达 94.01%,BeyondAIME 达 74.25%,在他们的评测集中比肩数倍于其规模的模型。
- 定位:刻意只做轻度指令微调,定位为单轮数学求解器和大型系统中可并行调用的快速组件,而非通用助手。
- 已发布模型、base 与 value checkpoint 及优化后的推理实现。
所属事件:Paradigm 开源首个 1B 数学模型 Violetto(6 条相关)→
「模型」频道最新
- Anthropic 数学家 Alpöge 宣称与 Claude 合作证明黎曼假设 — infoxiao · 2026-11-22
- Boaz Barak:不少 ML 理论者已在用内部模型 Astra 做研究 — boazbaraktcs · 2026-11-22
- 重度用户实测:Gemini Neon 规划最强,Claude 仍是干活主力 — Quick-Collection6281 · 2026-11-22
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- 研究者实测反驳『零基础解 GRH』论:连 ML 理论小创新都做不出 — BlancheMinerva · 2026-11-22
- LeCun:LLM 学的是记忆不是智能,缺推理与创造力 — haider1 · 2026-11-22