8GB 显存新答案:Ornith-1.5-35B-A3B 编码 agent 实测 32 tok/s
Elemental_Particle · reddit · 2026-08-28
作者此前在 8GB 显存下的首选是 Qwen3.6-35B-A3B,经社区推荐实测 Ornith-1.5-35B-A3B Q4KM 后认为找到了更好的选择。
- 硬件:i7-11800H + RTX 3070 笔记本(8GB)+ 64GB 内存,跑 openSUSE,用 Unsloth Studio 和 Pi.dev
- 给一个较复杂的代码分析项目,平均 32 tok/s,分析并完成任务,结果"近乎无瑕"
- 保持 128K 上下文窗口,agentic 工作流整体处理效果是相比 Qwen3.6 最大的提升点
- 作者测过大量参数规模、MoE/稠密、量化与编码微调模型,结论是"就今天而言"Ornith-1.5 是其硬件与用途下的明确赢家;也自嘲可能明天就有新模型打脸
「Infra」频道最新
- ZED 相机卖 500 美元？网友自制方案成本仅 150 美元 — _William_F_ · 2026-08-28
- KOTOR 重制版路径追踪渲染器集成了 DLSS 4.5 — Michael_Moroz_ · 2026-08-28
- 教树莓派用神经网络自动读燃气表，完全自动化抄表 — JeremyCMorgan · 2026-08-28
- 30美元板卡跑通亚60ms深度推理，手写NPU内核实战 — _William_F_ · 2026-08-28
- Ninfer 引擎实测：5090 跑 Qwen3 27B 速度翻倍 — Rollingsound514 · 2026-08-28
- 寅谱推AISSD：以存换算降低大模型推理成本 — 创业邦 · 2026-08-28