开源决策模型 Laya 一个月铺到 3.2 万台手机,单次推理约 33ms

HowDevelop · x · 2026-10-25

印度喀拉拉团队发布开源非自回归「System 1」决策引擎 Laya 一个月后的成绩单:单次前向传播即可完成对文本的类型化选择/打分/是非判断,支持 100+ 语言,带按请求选择 checkpoint 的路由器,单次决策约 33ms、无需 GPU,可跑在手机、旧笔记本和 CPU-only 服务器上,并号称首个 RLCD 流水线的开源实现。落地数据:在 Acurast 去中心化手机网络上有 3.2 万台 Android 手机排队运行;用户包括 STAGE(CEO Vinay Singhal 称重度使用)、Vercel AI Gateway(用于 agent 路由、客服分诊与护栏)、QVAC SDK。典型用途:agent 路由(某 Marketing OS 延迟降约 7 倍)、支持/邮件分诊、LLM 之前的 prompt-injection 护栏、CPU-only 交易流水线、手机端游戏 AI(Snake/Tetris/Doom)和内容审核。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →