13MB 引擎在两台£300 骁龙机上跑 107GB 模型,17 tok/s 生成
WorldlyAd7946 · reddit · 2026-11-18
- ToRc 是作者从零用 Rust 写的推理引擎,仅约 13MB,免安装解压即用,支持 Windows/Linux 的 x64 与 ARM,含实验性 Mac 版。
- 用两台各约 £300 的 Snapdragon X 低价笔记本(共 64GB LPDDR5x 内存),同时调度 CPU+NPU+iGPU,跑 107GB 的 Qwen3.8 Flash Next(Q4):16k prompt 下约 67 tok/s 读 / 17.5 tok/s 写,放不下的专家权重从 SSD 流式读取。
- 其他成绩:Qwen3.6 35B A3B 双机 4k prompt 约 406/54 tok/s;i9-13900K CPU 上 243/44,对比 llama.cpp 的 143/24;32k 长 prompt 时写速度可达 llama.cpp 的 2–10 倍(并非全面领先)。
- 支持多机拆分模型、池化内存带宽(USB4 已验证双机),兼容 OpenAI/Anthropic API,Claude Code 等工具即插即用,内置工具调用与 MCP;GGUF 一次转换,Auto-tune 自动调参。
「编程与Agent」频道最新
- 改一行循环提速 2.4 倍:OTel Node.js SDK 热路径优化 — DanielLockyer · 2026-11-18
- Raycast 推出本地 MCP Server:让 Claude、Codex、Cursor 直接操作你的 Mac — dean_rie · 2026-11-18
- 开源语音代理新招:打断时只保留你听到的历史 — andimarafioti · 2026-11-18
- Claude Code 学术研究技能包爆红:GitHub 星标 57.5k — adnan_hashmi · 2026-11-18
- 谷歌论文:自改进 agent harness 门控式改写省 10 倍 token 且迁移性更强 — omarsar0 · 2026-11-18
- 自建 Agent Harness 实战:银行医院为何弃用现成编码 Agent — TejasKumar_ · 2026-11-18