300 美元 AMD 推土机跑 35B 模型：本地 AI 硬件门槛已崩塌
SimplyAnnisa · x · 2026-08-27
- 成本与性能：博主仅用 300 美元组装了 AMD BC-250 PC，本地运行 Ornith 1.5 35B-A3B 模型。
- 实测数据：在无投机解码（speculative decoding）情况下，原生生成速度达 66.77 tok/s，模型参数 35B 但每 Token 激活参数仅 3B。
- 应用前景：该速度足以支持实时本地工具和常驻 Agent，且无需支付 API 费用。
- 核心观点：硬件成本不再是拒绝本地 AI 的借口；昂贵硬件能扩展有用性，但无法凭空创造使用场景。
「Infra」频道最新
- 观点：HF 被 NVIDIA 收购后或丧失硬件中立性 — QuixiAI · 2026-08-27
- 英伟达手握算力分配权：AI 公司成败皆由它裁决 — matt_slotnick · 2026-08-27
- 英伟达财报炸裂，分析师称这是历史性觉醒时刻 — PTrubey · 2026-08-27
- 两套 Blackwell vLLM 方案：NVFP4 KV 缓存换来 26 万上下文 — SeanHighness · 2026-08-27
- 为提升 SlimServe 性能，开发者修改 Nvidia 驱动解锁 PCIe P2P — QuixiAI · 2026-08-27
- 观点：单人持 200 张 B300 或可战大厂团队 — kalomaze · 2026-08-27