跑本地模型你能忍受多低的生成速度?15 t/s 成社区默认红线
challis88ocarina · reddit · 2026-11-01
Reddit 用户发起讨论:本地跑 Fable/Carbon/Astra 等模型时,你能接受多少 token/s?楼主自报门槛——早期 bucket 模型 15 t/s 是底线。他提到 Muse Spark 在约 30 万上下文时速度跌到 10 t/s 以下,但因其 token 效率高,按墙钟时间算仍比 DSv41 更快。评论区征集大家的速度容忍度与「悬崖点」。
「模型」频道最新
- 神秘新模型再现 GPT-4o 式「迷幻」输出，旧 4o 之魂引热议 — aiamblichus · 2026-11-01
- 网传 Opus 5.5 建造 Minecraft 场景获赞：扑面而来的品味感 — adonis_singh · 2026-11-01
- OpenAI 12月起合并 ChatGPT 与 Codex 用量额度，按 token 计费 — koltregaskes · 2026-11-01
- 用户实测 GPT 各代玩架空历史：gpt-6 对话与推理再上一层 — prd_008 · 2026-11-01
- 观点交锋：本地模型够用之日，OpenAI 与 Anthropic 将被颠覆 — TheZachMueller · 2026-11-01
- 2000 美元 PC 本地跑 125B 模型?博主实测 Qwen 3.8 Flash Next + Strata — RelevantEmergency707 · 2026-11-01