zlaya:Zig 写的纯 CPU 推理引擎,可在 CDN 边缘跑 Laya 模型
jedisct1 · x · 2026-09-24
开发者发布了 zlaya,一个用 Zig 编写、仅依赖 CPU 的 Laya 推理引擎。
- 无需 GPU:完全可在 WebAssembly 中运行,包括跑在 CDN 上的边缘应用
- 技术栈:原生 Zig 分词器、safetensors 加载、ModernBERT,以及训练好的决策与动作头
- 用途:对文本或结构化 JSON 回答选择、打分与是否类(noul)问题
- 资源占用:权重约 804 MiB,加载后展开为 float32,需数 GiB 内存;下载后推理完全离线
项目给出了快速上手命令(zig build + 下载脚本 + triage 示例),适合无 GPU 环境的轻量分类/判定场景。
「编程与Agent」频道最新
- Claude 操控 Chrome 画板复刻蒙娜丽莎,20 分钟全程录像 — _sholtodouglas · 2026-09-24
- 靠「让云基础设施好用」筑起壁垒的公司,正被 agent 冲击 — emeka_boris · 2026-09-24
- ESP32 直连 Cloudflare WebRTC，官方开源口袋收音机示例 — irvinebroque · 2026-09-24
- NVIDIA 发布 SWE-Serve：53 个任务测 agent 能否开发推理引擎 — NVIDIAAI · 2026-09-24
- Hamel Husain 发布 eval 技能:一条 /eval-audit 找出管线低垂果实 — HamelHusain · 2026-09-24
- 受 Rik Arends 启发,5 百万行代码的空间源码浏览器开源上架 — doodlestein · 2026-09-24