tinygrad 实现家用跑 Kimi K3:40 tok/s,全套成本约 3 万美元
StephanSturges · x · 2026-10-30
tinygrad 发布方案,可在本地运行 Kimi K3,交互速度达 40 tok/s,硬件成本约 3 万美元。Stephan Sturges 转发评论称「预计未来会有更多这类事情」,反映前沿大模型本地化部署的趋势。
「Infra」频道最新
- 8GB 显存跑 MiniMax H3 视频转视频：832x640 渲染 19 分钟 — big-boss_97 · 2026-10-30
- API 中转站只卖官方价 1% 的 token，货源从哪来引热议 — Lin_len · 2026-10-30
- Artificial Analysis 推出 Intelligence Index v5,新基准洗牌模型排行榜 — The AI Daily Brief · 2026-10-30
- Rust 版 GraphRAG 全栈 EdgeQuake 开源,已获 2.3k star — JeremyCMorgan · 2026-10-30
- BofA 下调 iPhone 预期 900 万部：内存涨价重创苹果毛利率 — firstadopter · 2026-10-30
- RTX 5090 持续缺货涨价，ASUS 卡报 8.4 万~9 万瑞典克朗 — wandedob · 2026-10-30