预测2027年本地小模型将成最大故事,冲击云端推理生意
ZeYanjie · x · 2026-11-01
X 用户 @quxiaoyin 预测 2027 年「本地模型」将成为 AI 行业最大故事:大模型越来越强越大,但小模型也在快速进步,用户不需要自己的模型去解最难的数学题,完全可以蒸馏一个只聚焦自己需求的小模型,在本地免费、隐私、低延迟地运行。他认为这会冲击 Anthropic 和 OpenAI 当前的推理商业模式,并催生一批为本地推理服务的新硬件公司。转发者 @ZeYanjie 附议:对简单任务每次都调大模型,成本实在太高。
「Infra」频道最新
- 极客梗图:为完全无文档架构手写 LLVM 后端,替代闭源 nvcc — mike64_t · 2026-11-01
- 企业领域蒸馏成风:成本从美元降到几美分且精度不损 — himanshustwts · 2026-11-01
- Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展 — sleight42 · 2026-11-01
- 内存 18 个月涨 7 倍至 429 美元,Altman 称「看不见的手正在失灵」 — aakashgupta · 2026-11-01
- 马斯克暗示数据中心提前建成,xAI 2026 年底或达 1000 亿美元 ARR — mitchdeg · 2026-11-01
- 3B 模型训练时渐进复制中层,GSM8K 19% 胜 12% 且省 26% 算力 — burny_tech · 2026-11-01