推理优化成本降至原来 1/100,小模型格局已彻底改变
tokenbender · x · 2026-10-15
作者指出当前推理端优化的空间已大到离谱:工作流越重复,可压缩的成本越多,最低能降到从前的约 1/100,速度已接近人类感知极限的实时水平。
他补充认为,研究/ builder 社区的普遍认知还没跟上这个变化——大家仍在卷 tok/s 和小内存占用这些数字,但这已是当下所有可能性中最不令人兴奋的部分;小模型的世界已经永久改变。
所属事件:推理成本可降至百分之一，小模型格局已被彻底改写(2 条相关)→
「Infra」频道最新
- CoreWeave 债券收益率飙至 14.5%,股价单日跌 13% — SumitGup · 2026-10-15
- Ben Bajarin:半导体资本设备主旋律是加快产能扩张节奏 — BenBajarin · 2026-10-15
- AI CAD 厂商营收陡增,网友类比 2026 年买芯片股的信号 — menhguin · 2026-10-15
- Micro Center 多款 RTX 5090 显示「不再进货」,仅剩bundled库存 — tekprodfx16 · 2026-10-15
- M5 Ultra 对决 RTX 5090：256GB 统一内存 vs 32GB 显存跑本地大模型 — Hugging Face · 2026-10-15
- NVIDIA CUDA 下载量达 12 亿次,较 2021 年增长 37 倍 — Beth_Kindig · 2026-10-15