421M 开源模型 Laya 单次前给概率答案,延迟仅 40ms
印度喀拉拉邦独立开发者 Nandakishor M(ConvAI Innovations)9 月 18 日开源发布 Laya,一天内在 Hacker News 收获 1200+ 分、约 30 万浏览。Laya 回归判别式范式:输入文本与类型化问题,单次前向传播直接输出带概率的答案,完全不生成文本,在单张 T4 上延迟约 40 毫秒(@thisdudelikesAI 转述为 33ms)。作者同步发布博客《Laya, Jev and the Return of the Discriminative Model》,主张小型判别式路线正在回归,并与闭源产品 Jev(TypeSafe AI)对比;据 @thisdudelikesAI 转述,Laya 比 Jev 早一年多问世。
已确认
- Laya 为 421M 参数、Apache 2.0 许可的开源模型,单次前向返回带概率答案,T4 上约 40ms,不生成任何文本,只做选择、打分、是或否式的「System One」快速判断。
- 作者实测:AG News 上准确率 0.950,速度约快 7 倍;77 类的 Banking77 上仅 0.425,基线为 0.870,大幅落后。
- 模型卡承认其基础 checkpoint 在零样本情况下表现低于多数基线。
- 作者发布配套博客,探讨判别式小模型路线的回归,并对比闭源的 Jev。
为什么重要
- 在生成式 LLM 主导的当下,Laya 展示了不生成文本、直接输出概率答案的小模型路线在延迟与成本上的潜力,且以开源、独立开发的方式对标硅谷闭源产品。
- 但多标签/多类别任务上的大幅落后表明该路线适用边界明显,基础 checkpoint 的零样本弱点是主要短板,作者本人也在模型卡中坦承。
2026-09-28 ~ 2026-09-28 · 6 条相关
一手来源
- 421M 参数开源模型 Laya 单次前向输出概率答案,单卡 40ms — maier_ak ·
- 新模型 Laya 快 7 倍但多标签任务惨败于基线 — maier_ak ·
- 4.21亿参数判别式模型 Laya 爆红,快 7 倍但复杂任务惨败 — maier_ak ·
- Laya 与 Jev:判别式模型正在回归的小模型路线 — maier_ak · 2026-09-28
- 421M开源模型Laya单次前向返回答案概率,T4延迟仅40毫秒 — maier_ak · 2026-09-28
- 【源头】421M 参数开源模型 Laya 单次前向输出概率答案,单卡 40ms — maier_ak · 2026-09-28
- 【源头】4.21亿参数判别式模型 Laya 爆红,快 7 倍但复杂任务惨败 — maier_ak · 2026-09-28
- 【源头】新模型 Laya 快 7 倍但多标签任务惨败于基线 — maier_ak · 2026-09-28
- 印度独立开发者开源 Laya:33ms 决策模型快过 Jev 约 7 倍 — thisdudelikesAI · 2026-09-28