8GB 内存 Mac 起家:开发者用 C 语言写出又一款本地推理引擎
ZenZombie117 · reddit · 2026-10-04
开发者 ZenZombie117 发布了自研本地推理引擎 Xyntetik-Runner 1.0.0,自嘲是「又一款推理引擎」,主打点并非比 llama.cpp 更快,而是面向低配硬件上的 agentic 工作流:
- 截断的工具调用修复:模型返回直接产出合法 JSON,无需 parse-retry 循环
- Schema 强制约束:杜绝非法 token 输出,作者称这对 agent 工作流是关键痛点
- 空闲不占内存:仅实际调用模型时才占用 RAM
- 可直接在 4bit 权重文件上训练 LoRA,无需 FP16 副本
- 与 llama.cpp token 级一致:在 Gemma4-Moe 上做了逐 token 验证
- 支持 Metal、CUDA 及 Intel/AMD CPU,并内置 OpenAI 兼容的 --serve 端点
作者硬件条件有限(8GB 内存 M1 Mac、i7-7700 + 8GB 显存 3070),后来借到朋友 Blackwell 卡的 24GB MIG 切片后开始探索小硬件能力边界。项目用 C 语言从零写成,未来分两条线:面向企业的本地验证推理(Runner 本身永久免费)与研究(此前的 Xyntetik-Kvist-14B 模型即源于此)。
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19