开源推理引擎 Tokspur 称比 Ollama.cpp 快 4 倍,招募测试
SimonSanDigital · reddit · 2026-11-17
San Digital 团队宣布开源本地推理引擎 Tokspur,宣称在 Mac 芯片上比 Ollama.cpp 快得多——最初为利用新购入的高速机器而做,现已将 M1 到 M5 全系列的性能普遍优化,号称提速 4 倍。团队公开了 GitHub 仓库和性能对比数据,招募社区帮忙测试验证结果,并表示另一项性能改进即将发布。
注意:数据来自团队自述,尚未经第三方独立验证。
「Infra」频道最新
- llama.cpp 新 PR:旋转 K/V 读取顺序提升 L2 缓存命中,长上下文显著提速 — jacek2023 · 2026-11-17
- 4.5M 参数 TTS 模型塞进 ESP32-S3,全程离线运行 — ngxson · 2026-11-17
- 45 家以上公司同时遭遇服务中断 — Serasul · 2026-11-17
- 开发者晒云账单叹做模型太贵:成果抵得上实验室 50 万至 200 万美元 — weskambale · 2026-11-17
- ExLlamaV3 MoE 专家卸载调优:9070XT 上 Qwen3.6 35B prefill 翻倍至 2606 t/s — willeyh · 2026-11-17
- BIS 132 页出口管制新规封堵三大漏洞:云租赁、走私与 TSMC 后门 — ChinaTalk · 2026-11-17