FreeLLM 实验:把员工笔记本的 Ollama 算力池化共享推理
JY_Q · reddit · 2026-10-22
作者提出并原型化了 FreeLLM:把小公司员工工作笔记本上运行的 Ollama/Lemonade 客户端通过共享 API 和自定义负载均衡器连接起来,池化闲置算力为小企业提供免费 LLM 推理。想法承认明显短板——员工会关机或把电脑带回家。项目已开源在 GitHub(目前 0 star 的早期实验),作者计划与本地小企业做小规模实验,并公开征求对这个思路的批评与漏洞。
「Infra」频道最新
- Google 升级 Coral NPU:开放架构+编译器让小设备本地跑 AI 不耗电 — GoogleAI · 2026-10-23
- Weaviate 三年把内存占用从 9.9 GB 降到 1.4 GB,压缩算法迭代立功 — CShorten30 · 2026-10-23
- Rescale 五天打造测试失败 AI 分诊 agent，用 Claude 分类自动路由 — AWS ML Blog · 2026-10-23
- 特斯拉与英伟达斥资 28 亿美元扩建三星先进封装供应链 — XFreeze · 2026-10-23
- 分析师 Ben Bajarin:该把数据中心当作核心地段房产来看 — BenBajarin · 2026-10-23
- CoreWeave 推出 Physical AI Launchables：一条命令跑 Isaac Sim 等机器人工作负载 — wandb · 2026-10-23