250 美元 FPGA 开发板实现 12000 tok/s 推理
ycombinator · x · 2026-08-17
Lamb Labs 展示了一项概念验证：在售价 250 美元的 AMD KV260 FPGA 开发板上，实现了每秒 12000 token 的推理速度。该项目名为 "little lamb"，模型权重直接存储在片上内存中，无需 DRAM 参与令牌循环。作者强调这是一个旨在测试极限速度而非对话质量的 PoC，目前模型回答连贯性较差，但展示了极高的吞吐潜力。
所属事件:250 美元 FPGA 开发板实现每秒 12000 token 推理(3 条相关)→
「Infra」频道最新
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16