有人提议用消费级硬件做众包推理网络,结合本地推理与 P2P 社区
airesearch12 · x · 2026-09-18
开发者 airesearch12 提出一个想法:搭建一个「众包推理供应商」,让人们在自家消费级硬件上为他人运行开源模型。讨论中他认为这本质上是个博弈论优化问题,应由概率和实际数据驱动路由决策;如果再结合本地推理和 P2P 社区,可能产生很有意思的形态。回复者 julianharris 指出,这样会把路由移到外层循环,从空缓存重新开始计算才合理。
「Infra」频道最新
- Starlink 横扫拉美乡村教育：多国上万天线接入数千所学校 — XFreeze · 2026-09-18
- 仅 0.05% 采样就能验证缓存，作者感叹整个系统省下的工作量惊人 — DanielLockyer · 2026-09-18
- TRL 新增异步 GRPO：经 HF Buckets 同步 LoRA 权重，训练耗时 3.5 小时缩至 53 分钟 — _lewtun · 2026-09-18
- 支付公司争抢推理入口：Stripe 携 OpenRouter、Ramp 切入推理链 — xkonjin · 2026-09-18
- 开源项目 DataFlow：把预训练前的数据清洗与合成做成可复用流水线 — Puzzleheaded_Box2842 · 2026-09-18
- Qdrant 四小时直播深挖向量搜索,回放已上线 — qdrant_engine · 2026-09-18