Taalas 把 Llama 3.1 8B 烧进定制芯片,实测每秒 15000 tokens
npew · x · 2026-09-04
芯片公司 Taalas 将 Llama 3.1 8B 直接「烧录」进定制硅片,演示达到每秒 15000 tokens 的生成速度,读者可在其网站直观感受。OpenAI 前高管 Nathan Peter( npew)转发并展望:未来几年若同等速度跑 GPT-6 Astra 级别的模型、甚至每部手机都内置此类芯片,推理将接近「即时」,体验将彻底改变。定制 ASIC 存储内计算的路线值得关注。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21