Taalas 把模型烧进芯片:单芯片跑 8B 模型达 17000 tok/s
IAM_274 · reddit · 2026-10-21
Reddit 用户科普 Taalas 的 ChatJimmy 项目：通过把 LLM 直接「烧录」进硅片（模型即芯片），一颗芯片运行 8B Llama 模型达到约 17000 tok/s，而 RTX 5070 上同模型仅约 80 tok/s，快约 213 倍，超过多 GPU 数据中心的吞吐。要点：
- 原理：计算资源全部直通模型矩阵运算，没有「加载模型」这一步，LLM 本身就是硬件；制造成本与功耗也让传统 GPU 显得昂贵而慢。
- 现状：仅为实验室概念验证，非产品。作者畅想若产业认真投入，27B 模型或可跑到 40 万 tok/s，甚至以 iPhone 价格买到「心仪模型的芯片」。
- 代价：模型烧死后不可更换，知识截止成为硬伤——模型过时需换新芯片，作者估计约 3-5 年换一次，类比手机换代。
- 文末附 Medium 深度分析文章链接。
「Infra」频道最新
- iPhone 跑 35B MoE 达 20.5 tok/s：LES 调度不跳过任何专家 — GasSmooth7439 · 2026-10-21
- Arcium 发布 Blackthorn：去掉 CPU TEE 的机密 AI 推理栈开启私测 — Scobleizer · 2026-10-21
- DeepSeek 开源推理引擎 DeepInfer：单集群日服务 155 万亿 token — Prompt Engineering · 2026-10-21
- 7.5MB 五模型端侧语音前端 Alkove:只留你的声音再进 STT — cocktailpartyfixer · 2026-10-21
- Manus 的 150 万个数据库全跑在 TiDB 上，数据库用户正从人变成 agent — FinanceYF5 · 2026-10-21
- embedl 发布边缘设备农场:1000+ 模型真机实测与性能分析 — Course_Latter · 2026-10-21