实测 System 1 模型 Laya：单次编码器输出概率，毫秒级替代 LLM 路由
ghumare64 · x · 2026-09-26
博主对 TypeSafe AI 推出的新模型类别「System 1」做了 19 分钟长文的实测解读。这类模型不生成文本：输入状态（工单、JSON、对话记录）和一组带封闭答案集的问题，一次编码器前向就返回每个答案的概率分布，一次路由或 yes/no 判断只需几十毫秒、成本远低于 LLM 调用，输出类型可直接供代码分支使用。
- 闭源版 Jev：TypeSafe AI 托管，TechCrunch 曾报道；开源版 Laya：Apache-2.0 权重，已上 GitHub 和 PyPI，自带兼容 Jev 线协议的服务器。
- 作者在笔记本 CPU 上跑了 Laya 0.3.20 的最小 checkpoint，文中逐一标注每个数字是自测还是 README/官方口径。
- 全文以一张客服工单为例走通两个系统的请求格式、概率生成与毫秒级成本；并分析概率会「说谎」的场景、如何选置信度阈值、以及是否该把真实工单流量从 LLM 迁走。
- 作者提醒：概率的可信度只取决于你自己的标注数据；开源 checkpoint 在其测试中「经常自信地出错」。
所属事件:实测 System 1 模型：单次编码毫秒级返回类型化答案(2 条相关)→
「模型」频道最新
- System 1 模型一次编码即返回类型化答案,笔记本 CPU 上 45ms 完成工单分类 — ghumare64 · 2026-09-26
- 开源 System 1 模型笔记本 CPU 上 45ms 答题，工单准确率 70% — ghumare64 · 2026-09-26
- 斯坦福教授：LLM brainstorm 很有用，但会自信地说合法听着的胡话 — anshulkundaje · 2026-09-26
- 研究者晒 Claude 数小时解开困扰数月的多模态光谱混合难题 — jwt0625 · 2026-09-26
- 旧文翻车:ARC Prize 曾坚称普通深度学习不够,需程序合成,随后 o3 出现 — teortaxesTex · 2026-09-26
- Pangram 检测 Claude Opus 5.5 准确率达 99.7%，「in short」成新口头禅 — SuB8u · 2026-09-26