低精度推理已成现实,训练前向/反向/优化器将转向 8-bit 与 4-bit
udmrzn · x · 2026-11-10
danyulol 提出观点:低精度是未来。GPT-4.1 Flash、K3 等前沿开放模型已用低精度提供推理服务,他认为训练很快也会跟进——actor 的前向、反向乃至优化器状态都将迁移到 8-bit 和 4-bit 区间。udmrzn 转发并附和:自训练与推理模型的成本正在快速下降,目标是把强大基础设施交到每个 Applied AI 团队手中。
「Infra」频道最新
- 从 GPU 受限到全网可用:Anthropic 新模型首日登陆 Bedrock — ivan_bezdomny · 2026-11-10
- DeepSeek 比 Claude Fable 5.2 便宜 44 倍,单任务成本 $0.60 vs $26.54 — Yuchenj_UW · 2026-11-10
- 英伟达投资者私下不满仍公开力挺黄仁勋，时机成焦点 — GaryMarcus · 2026-11-10
- OpenRSI 让 AI 智能体自我改进推理基建：8 个全模态模型吞吐提升 7.6%–344% — ChengleiSi · 2026-11-10
- Bun AoT 实测:OpenClaw 启动快 3.1 倍,OpenCode 省内存 41% — steipete · 2026-11-10
- Epoch AI 今年算力开支将超过员工工资,研究员直言意外 — Jsevillamol · 2026-11-10