8GB 内存 Mac 起家：开发者用 C 语言写出又一款本地推理引擎
ZenZombie117 · reddit · 2026-10-04
开发者 ZenZombie117 发布了自研本地推理引擎 Xyntetik-Runner 1.0.0，自嘲是「又一款推理引擎」，主打点并非比 llama.cpp 更快，而是面向低配硬件上的 agentic 工作流：
- 截断的工具调用修复：模型返回直接产出合法 JSON，无需 parse-retry 循环
- Schema 强制约束：杜绝非法 token 输出，作者称这对 agent 工作流是关键痛点
- 空闲不占内存：仅实际调用模型时才占用 RAM
- 可直接在 4bit 权重文件上训练 LoRA，无需 FP16 副本
- 与 llama.cpp token 级一致：在 Gemma4-Moe 上做了逐 token 验证
- 支持 Metal、CUDA 及 Intel/AMD CPU，并内置 OpenAI 兼容的 --serve 端点
作者硬件条件有限（8GB 内存 M1 Mac、i7-7700 + 8GB 显存 3070），后来借到朋友 Blackwell 卡的 24GB MIG 切片后开始探索小硬件能力边界。项目用 C 语言从零写成，未来分两条线：面向企业的本地验证推理（Runner 本身永久免费）与研究（此前的 Xyntetik-Kvist-14B 模型即源于此）。
「编程与Agent」频道最新
- Replit CEO：大模型该像 JIT 编译器一样现场训练自己的替代者 — amasad · 2026-10-04
- 创业公司宣称「干掉万亿美元行业」，遭 agent 开发者当场嘲讽 — jasonkneen · 2026-10-04
- 双订阅跑 Claude 开发+Codex 审查循环，想换 Gemini 当审查员却碰壁 — bocondo · 2026-10-04
- 《编程语言导论》第二版新增浏览器运行时与 AI 编程两章 — alfcnz · 2026-10-04
- pg-jev：把 LLM 变成 Postgres 扩展，用自然语言直接查询数据行 — Born_Excuse_5610 · 2026-10-04
- 开源研究原型测试：自主 web agent 真能被防御机制挡住吗？ — Admin-ABC-XYZ · 2026-10-04