纯 C 推理引擎让 2014 年 Tesla K80 跑 35B MoE 模型达 21 tok/s
Electrical_Ninja3805 · reddit · 2026-10-21
开发者发布纯 C 编写的推理引擎 Pantheon（底层 ML 库 Foundry），无需现代硬件与 CUDA toolkit，仅需 NVIDIA 470 驱动即可在二手价极低的 Tesla K80（Kepler 架构，2014 年）上跑 35B 级 MoE 模型。
单卡实测（双 die、2 核 8GB 无 AVX 主机）：
- Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3KM）解码约 21 tok/s
- Prompt 读取约 110-120 tok/s（8k 内），14k 约 75，30k 约 55
- 权重常驻显存而非系统内存，8GB 主机即可运行
内置 prefix caching：传 session id 后后续轮次只处理新增 token，opencode 第二轮 14k 系统 prompt 从 170 秒降到 9 秒。短板是 prefill 慢，每次粘贴 30k 代码库要等数分钟。提供 OpenAI 兼容 API，一键安装脚本，另支持 Tenstorrent Blackhole 卡运行 Ornith 1.5。
「Infra」频道最新
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23
- 黄仁勋详解 Vera Rubin 代理系统完整架构:NVL72+MGX+CMX+RTX — rohanpaul_ai · 2026-10-23
- Transformers.js 一条龙：ONNX 模型直接跑进浏览器 — JosephJacks_ · 2026-10-23
- MiniMax M3.1 Flash 在 0G 平台限时免费 3 天,1M 上下文随便跑 — MiniMax_AI · 2026-10-23
- 「押注 Cloudflare 拿到十亿级规模」：R2 与 D1 的老兵回忆杀 — dinasaur_404 · 2026-10-23