后训练与自托管推理成本快速下降，低精度成趋势
ypatil125 · x · 2026-11-10
作者指出，自己动手做后训练(post-train)和推理部署的成本正在快速下降，其使命是让每个 Applied AI 团队都能用上强大的基础设施。引用的相关观点进一步认为低精度是未来:前沿开源模型如 GPT-4.1 Flash 和 Kimi K3 已用低精度做推理服务，训练侧(前向、反向甚至优化器状态)也将很快进入 8-bit 和 4-bit 时代。
「Infra」频道最新
- Nvidia 投资的 Fireworks AI 数周内第二次遭入侵，波及 Notion 与 Cursor — dinabass · 2026-11-10
- 算账了:Anthropic 缓存 5 分钟/1 小时选项对应 GPU 与 CPU 存储 — bigaiguy · 2026-11-10
- 本地 AI 实用案例：RTX Spark 上跑简历筛选，隐私数据不出本机 — draginol · 2026-11-10
- Signal65 实测 MLPerf:Azure GB300 交互式推理吞吐超 26 万 tokens/秒 — ryanshrout · 2026-11-10
- 从文档抄草稿做投机解码，AI 抽取提速最高 19 倍 — sh_reya · 2026-11-10
- 算力是智能爆炸的第一个关键瓶颈:AI 劳动替代算力的估计两极分化 — austinc3301 · 2026-11-10