Ling-3.0-flash本地实测：单机80 tok/s解码
niacolhealth · reddit · 2026-08-05
Ling-3.0-flash 的 MXFP4 量化版本已成功在单台 DGX Spark 上实现本地运行。
实测性能表现优异：
- 解码速度：约 80 tok/s
- 长输入预填充：2,500–3,500 tok/s
- 并发能力：可流畅支持 3-4 个用户同时使用
该方案适用于本地隐私推理、编码辅助、智能体部署及离线批处理任务。
「Infra」频道最新
- 预告：一个 API 密钥调用任意模型并支持本地云端路由 — ycombinator · 2026-08-06
- turbopuffer 架构解析：如何构建 256TB 搜索索引 — shakoistsLog · 2026-08-06
- 格芯Q3毛利率指引超30%，硅光子产能成AI算力新稀缺资源 — tengyanAI · 2026-08-06
- 单次复杂AI任务成本仅约0.004美元 — victormustar · 2026-08-06
- 观点：AI与机器人将消除技能劳动力瓶颈，算力与能源成新时代石油 — VraserX · 2026-08-06
- 达索系统联手 NVIDIA，利用 GPU 与 AI 全面加速工业模拟 — NVIDIAAI · 2026-08-06