10 人初创花 1.8 万美元自建 128GB 显存 AI 服务器，多人实测数据曝光
bendee983 · x · 2026-10-14
一家 10 人初创公司花 1.8 万美元自建本地 AI 服务器：一台 Threadripper 主机搭载 4 张 Radeon AI PRO R9700（共 128GB 显存），运行 Qwen3.8 + DeepSeek V4 Flash，支持 16 个并发会话，GPU 降压至 210W 以下运行。
实测数据：
- 16 并发、每人 48K 上下文时，聚合解码速度 538.5 tokens/s
- 每人 128K 上下文时，聚合解码 365 tokens/s
有人质疑这笔钱不如买 8 年 Claude 订阅，但 @bendee983 认为做这类投入的才是长期赢家，理由有三：
- 本地模型持续变强，同样算力能换更多智能
- AI 补贴终将结束，实验室烧钱抢份额（如 Anthropic 的 S1 披露）不可能持续，重度用户别指望 200 美元订阅永远超值
- 对初创公司来说，本地部署是值得押注的方向
「Infra」频道最新
- llama.cpp 被内置进 Google Android AICore,Gemini Nano 底层曝光 — ggerganov · 2026-10-14
- UC Berkeley 团队开源 FLAT，线性注意力 TPU 训练内核提速最高 3 倍 — SonglinYang4 · 2026-10-14
- 用Minimax H3生成300段视频打造沉浸式展览，附各GPU实测耗时 — komarco · 2026-10-14
- Nvidia 据称本周将宣布 280 亿美元欧洲 AI 投资，网友税后只剩 130 亿 — rchardkovacs · 2026-10-14
- 约 2000 美元 token 费用跑通 RISC-V 加密 SoC 完整后端流程 — IgorCarron · 2026-10-14
- SK 海力士 HBM4 后段工艺卡壳超一年,传三星明年将夺回份额 — zephyr_z9 · 2026-10-14