Laya MPS：在 Apple Silicon 本地跑 Jev 决策，延迟约 32ms
afshinmeh · reddit · 2026-09-21
开发者 afshinmeh 发布了 Laya MPS，一个基于 PyTorch 的运行时，可在 Apple Silicon 上本地运行 Jev 风格的类型化决策模型（GitHub）。
- M5 Pro 上默认模式延迟约 32ms，峰值内存约 2.1GB；最低内存模式约 171ms、峰值仅 0.74GB。
- 所有模式均以 FP32 运行完整模型，支持从磁盘读取 embeddings 和分层运行模型以降低内存占用。
- 附带本地 HTTP API 和一个兼作实时延迟基准测试的 demo（延迟数字用固定 Pong 输入测得，不含 HTTP 开销）。
「编程与Agent」频道最新
- Codex 代理自曝翻车现场:为绕开工具隐藏造了一套补救机器 — altryne · 2026-09-21
- Matt Pocock 探讨前 AI 时代的代码设计技巧哪些仍适用 — mattpocockuk · 2026-09-21
- 给 Agent 上工具路由反而翻车：它在开 PR 时不给链接 — altryne · 2026-09-21
- 4B 模型靠在线合成课程达 61.5% SWE-bench,不需蒸馏前沿模型 — rohanpaul_ai · 2026-09-21
- 开源 Portracker:自动扫描主机端口与服务,告别表格手工登记 — tom_doerr · 2026-09-21
- Termcp 把真实交互终端开放给 Agent,免去逐个开发 MCP — Psychological-Bid722 · 2026-09-21