推理成本可降至百分之一，小模型格局已被彻底改写

开发者 tokenbender 发推指出，小模型的世界已永久改变，但研究与开发者社区的普遍认知仍然滞后。他强调当前推理端优化空间极大：工作流越重复，可压缩的成本越多，最低可降至原来的约 1/100，且速度已接近人类感知极限的实时水平。他认为社区还在比较 tok/s 和内存占用等数字，而这些已是当下可能性中最不令人兴奋的部分。

2026-10-15 ~ 2026-10-15 · 2 条相关