企业领域蒸馏成风：成本从美元降到几美分且精度不损
himanshustwts · x · 2026-11-01
一位 AI 从业者观察称,大量企业正在金融、法律等知识工作领域用自己的数据对模型做后训练蒸馏,把推理成本从美元级别降到几美分,且没有精度损失。这一趋势说明领域定制小模型已在实际生产中大规模落地。
「Infra」频道最新
- warmctl 用 DMTCP 快照让 vLLM 冷启动缩至 14 秒,CRIU 在 RunPod 失效 — kbesplv · 2026-11-01
- 极客梗图：为完全无文档架构手写 LLVM 后端，替代闭源 nvcc — mike64_t · 2026-11-01
- 预测2027年本地小模型将成最大故事，冲击云端推理生意 — ZeYanjie · 2026-11-01
- Reddit 实测:AMD EPYC+多卡 3090 跑 Qwen Q8 达 94 tok/s,8 路并发近线性扩展 — sleight42 · 2026-11-01
- 内存 18 个月涨 7 倍至 429 美元，Altman 称「看不见的手正在失灵」 — aakashgupta · 2026-11-01
- 马斯克暗示数据中心提前建成,xAI 2026 年底或达 1000 亿美元 ARR — mitchdeg · 2026-11-01