32GB 显存批量文本抽取实测：MoE 35B 预填充提速 40 倍
MkGod · reddit · 2026-09-14
作者用 2x RTX 5060 Ti（32GB 显存）做长文本结构化抽取：Qwen 27B Q4KM 约 50 t/s；换用 MoE 模型 Ornith-1.5-35B Q4 后预填充冲到约 2000 t/s，生成约 100-110 t/s。其工作负载以读长上下文、输出短结构化结果为主，预填充提升大幅缩短总耗时。
帖内同时求证：7B-14B 稠密模型做 schema 抽取是否够用、MoE 是否已是明显优选，以及是否有追踪本地推理实测速度（prefill/decode）的榜单。
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30