押注未来三年:他自建本地推理栈,双 5060 Ti 跑出 100 tok/s
No-Name-Person111 · reddit · 2026-09-25
作者详述自己从「租云推理」转向「本地优先」的完整架构与三年赌注:目标是拥有一个永久、私有、可控的推理底线,赌开源模型、量化、推理引擎、缓存与 agent 工作流的进步会让同样的硬件在未来三年越来越有用,同时对冲 API 涨价与订阅限制风险。
硬件与成本
- 工作机:2× RTX 5060 Ti,涨价前共约 $800 购入;运行 Occamy 1.0 达 100 tok/s 解码,可维持两个 175K 上下文的独立 worker 池,支持双子 agent 并发
- 主推理:96 GB M5 Ultra Mac Studio,月租 $117,将作离线推理专用机,跑 Qwen 3.8 Next Flash
- 连接:$5/月 VPS 做受控出网;Mac 将设 VLAN、仅内网可达、拒绝 WAN
架构
- OpenChamber 作为持久工作区,桌面/笔记本/手机多端访问
- 默认私有推理,云模型仅在刻意需要时通过 ZDR API 调用
作者坦承这套方案对普通人不便宜,云订阅能以更低门槛获得更强模型;他的核心假设是「锁定今天水平的本地智能」,不赌本地模型追平前沿,而是赌硬件随软件进步持续增值。
「编程与Agent」频道最新
- LangSmith 推出 Trajectories 视图，长程 Agent 运行分析更直观 — LangChain · 2026-09-25
- 「破窗理论」在 vibe coding 代码库里百试百灵 — generativist · 2026-09-25
- 非工程师分享多模型 Agent 分工编排：隔离容器做范围漂移监督 — alexcovo_eth · 2026-09-25
- Primus Society 打造全自主 AI 研究员社会，宣称提升训练效率 30% — JayAlammar · 2026-09-25
- Gauntlet AI 开放申请:全免费 10 周 AI 工程训练营,落地奥斯汀 — petrusenko_max · 2026-09-25
- GitHub 开源 AI 自动化模糊测试管线:agent 自写 harness 并分诊漏洞 — GitHub Blog AI/ML · 2026-09-25