250 美元 FPGA 开发板实现 12000 tok/s 推理
ycombinator · x · 2026-08-17
Lamb Labs 展示了一项概念验证：在售价 250 美元的 AMD KV260 FPGA 开发板上，实现了每秒 12000 token 的推理速度。该项目名为 "little lamb"，模型权重直接存储在片上内存中，无需 DRAM 参与令牌循环。作者强调这是一个旨在测试极限速度而非对话质量的 PoC，目前模型回答连贯性较差，但展示了极高的吞吐潜力。
「Infra」频道最新
- Wici One 声称通过 NVMe 流式传输解决本地显存瓶颈 — Torodaddy · 2026-08-17
- 单卡 5090 跑出每秒 206 token，Qwen3.8-27B 性能实测 — StefanoGogioso · 2026-08-17
- antirez优化DwarfStar：Station上170 t/s生成，22k tokens/s预填充 — antirez · 2026-08-17
- 算力淘金热：CoreWeave 季度营收超早期巨头云厂商 — a16z · 2026-08-17
- 麦肯锡：自 22 年底美数据中心投资激增 200% — rvp · 2026-08-17
- RTX 3090 跑 Qwen3.8-27B 达 672 tps，极致量化优化 — iamMess · 2026-08-17