System 1 模型一次编码即返回类型化答案,笔记本 CPU 上 45ms 完成工单分类
ghumare64 · x · 2026-09-26
作者实测了一类新型「System 1」模型:输入文本加一组封闭答案的问题,编码器单次前向即输出每个答案的概率分布,不生成文本,毫秒级延迟、成本远低于 LLM 调用,返回值可直接在代码里分支处理。
- 开源版为 Laya(Apache-2.0,Convai Innovations 的 Nandakishor M 发布,已上 GitHub/PyPI,兼容 TypeSafe Jev 的 API 格式);闭源托管版为 TypeSafe AI 的 Jev(TechCrunch 9 月 18 日报道)。
- 作者在笔记本 CPU 上跑最小 checkpoint:每个问题约 45ms。
- 在 30 条人工标注工单上准确率 70%,且 9 个错误中 6 个置信度超过 0.98,例如把「我不想取消账户」错误分类为 cancelaccount——说明概率的可信度完全取决于自己的标注数据。
- 文章还覆盖:请求形态、概率向量如何产生、如何选置信度阈值、是否值得把每天 1 万条工单从 LLM 迁走的成本账。
所属事件:System 1 模型实测：CPU 上毫秒级完成工单分类(3 条相关)→
「编程与Agent」频道最新
- Hugging Face 工程师展示纯客户端多模态浏览器 Agent — nicodotdev · 2026-09-26
- 纯提示词搞定硬件:用 Codex+Cloudflare 打造 ESP32 电子墨水屏 — paw_lean · 2026-09-26
- 开发者让 Claude 现场写 CLI:五分钟搞定电源控制并接入工作台 — andreisavu · 2026-09-26
- 「我们生活的世界已是科幻」:AI 写硬件工具的现场感叹 — andreisavu · 2026-09-26
- 不用视频模型,1 分钟 2 美元用 Opus 做出创业公司发布视频 — FinanceYF5 · 2026-09-26
- Anthropic 两周提速 3 倍方法复盘,作者照做整理成「闪电.skill」 — AlchainHust · 2026-09-26