Ornith 35B/3B 激活模型在 RTX Spark 上跑出 78 tok/s 且测试全对
draginol · x · 2026-10-19
博主实测 Ornith 35B 参数、仅 3B 激活(MoE 架构)的模型,在 NVIDIA RTX Spark N1X(Blackwell GPU,64GB RAM)上速度极快:prefill 1833 tok/s、decode 78.1 tok/s、首 token 674ms,64K 上下文。在 80 项简单任务测试中准确率 100%。作者接下来会用更难的任务继续测试。
所属事件:Ornith 35B/3B 激活 MoE 模型实测:本地运行快且准确(2 条相关)→
「Infra」频道最新
- 网友用 wllama 在 Rabbit R1 上跑通 Qwen3.5-0.8B 4-bit 量化 — ngxson · 2026-10-19
- ORL 框架让扩散语言模型提速 6.9 倍,超越自回归投机解码 — burny_tech · 2026-10-19
- 四套免费 CUDA 学习资源:从 NVIDIA 官方课到牛津大学讲义 — techNmak · 2026-10-19
- 4GB 显存的 3050 笔记本跑 Moss 图像模型,优化后 62 秒出图 — sanketshinde2004 · 2026-10-19
- 巴克莱:纯数据中心债券利差升至约209bp,市场开始计入传染风险 — SumitGup · 2026-10-19
- GPU 开发者称需打造轻量可解释性推理引擎,称移植数值差异难解 — brandon_xyzw · 2026-10-19