1B 小模型 AIME 2026 考 94 分,Paradigma 开源 Limite 1B Violetto
tensorqt · x · 2026-10-07
Paradigma 团队发布首个模型 Limite 1B - Violetto 的技术报告并开源(Apache 2.0),主打单位能耗与参数下的数学推理能力。
- 规模与数据:10 亿参数,从零训练,语料为精心筛选的数学为中心的 237B tokens,支持最长 131k 上下文;从首批实验到发布仅用 6 周。
- 训练配方:后训练结合知识蒸馏、定向 SFT 与 RLVR 课程;预训练中交替使用 SFT 与 DPPO RL,并借鉴 nanogpt speedrun 的架构成果(NorMuon、MUDD 变体、XSA)。
- 成绩:AIME 2026 达 94.01%,BeyondAIME 达 74.25%,在他们的评测集中比肩数倍于其规模的模型。
- 定位:刻意只做轻度指令微调,定位为单轮数学求解器和大型系统中可并行调用的快速组件,而非通用助手。
- 已发布模型、base 与 value checkpoint 及优化后的推理实现。
所属事件:Paradigm 发布首个 1B 数学模型 Violetto(5 条相关)→
「模型」频道最新
- RedNote 被指拥有低调但实力雄厚的 AI 实验室 — teortaxesTex · 2026-10-07
- OpenAI 简化 API 限流门槛:五档并三档,500 美元即达最高级 — OpenAIDevs · 2026-10-07
- 用户吐槽 GPT-6.1 Sol 变慢变差：OpenAI 在 sandbagging？ — rickasaurus · 2026-10-07
- 动态基准 SciConBench：AI 合成医学结论 61–90% 含事实错误 — manoelribeiro · 2026-10-07
- Cohere Labs 发布 Tiny Aya:覆盖 70+ 语言的小型多语言模型家族 — Cohere_Labs · 2026-10-07
- Paradigm 发布 1B 数学模型 Violetto，技术报告出炉 — tensorqt · 2026-10-07