独立开发者实测:纯 CPU 跑 10B 模型达 113-130 tok/s,但质量拉胯
WildPino25 · reddit · 2026-09-15
Reddit 用户 WildPino25 展示自研的面向 CPU 内存约束的 LLM 架构 SiliconLLM:10B 参数模型在 Ryzen 5 3600X(无 GPU)上达到 113-130 tok/s,但权重质量很差。为验证质量能否在规模化下保持,他尝试在 T4 上训练 206M 模型(需 8 周以上),并尝试把 Qwen2.5-Coder 转换为其 SSM/三值/稀疏格式,发现改造 transformer 供体模型非常困难。代码与研究分支开源在 GitHub。
「Infra」频道最新
- Tailscale 成众多创业公司单点故障，被巨头收购引发热议 — TheZachMueller · 2026-11-02
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash，两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02