月租4.6万美元跑Kimi K3：单B300推理速度达450 token/s
casper_hansen_ · x · 2026-08-01
开发者算了一笔经济账：如果每天消耗数十亿token，以每月4.6万美元的价格租用一台搭载单张B300芯片的服务器来自行部署Kimi K3，将比直接调用Claude等商业API更具性价比，且能独享450 token/s的极速推理体验。
「Infra」频道最新
- Atomic-Chat:支持完全离线运行的开源本地 AI 助手 — rohanpaul_ai · 2026-08-01
- Kimi K3 1-bit 量化实测：2.8T 模型压缩至 590GB 本地跑通 — rohanpaul_ai · 2026-08-01
- 论文分享：Chunked Prefill 技术如何提升 LLM 推理服务效率 — Abhishekcur · 2026-08-01
- Agentic AI 的算力瓶颈：推理与执行的双重挑战 — charles_irl · 2026-08-01
- AI股市回调预警：内存芯片股杠杆过高，投资者债务创纪录 — binarybits · 2026-08-01
- DeepSeek-V4-Flash 量化版 A100 实测：仅占 15.8GB 显存 — Different-Pickle1021 · 2026-08-01