斯坦福与英伟达发布 CLM 决策模型,速度比逐 token 快 13 倍
Prompt Engineering · youtube · 2026-09-26
CLM:用「嵌入匹配」替代 token 生成做决策
斯坦福与 NVIDIA Research 推出对比式语言模型 CLM,思路类似 CLIP:把情境与所有候选动作嵌入同一空间,直接选最近邻,而非逐 token 生成,号称决策速度快 13 倍。
训练与实测:
- 基于冻结的 8B backbone,只训练小型任务头
- 在 DGX Spark 上跨 1,080 个工具实测:延迟稳定在约 80ms,但准确率从 8 个工具时的 86% 跌至全量工具时的 17%
定位: 目前不适合直接替代推理模型,更适合作为快速第一轮筛选,把候选清单交给能细致比较选项的模型做最终决策。
代码、模型权重(8B)与 playground 均已开源。
「Infra」频道最新
- 用终端指挥 Agent，何必再租别人的服务器？ — StewartalsopIII · 2026-09-26
- MIT 论文：scaling 法则到期，下次翻倍训练成本暴增 6 倍 — DavidLinthicum · 2026-09-26
- Jensen 预测：GOES 硅钢与变压器将比稀土更抢手 — basedjensen · 2026-09-26
- Polymorf 将 OMLX 推理从 150tps 提至近 200tps，一天内打破基准 — HankYeomans · 2026-09-26
- FlashLoop:利用跨循环冗余加速 Looped Transformer,延迟降 1.65 倍 — KyeGomezB · 2026-09-26
- 博主弃用服务器机架：烧主板教训与千美元成本账 — TheZachMueller · 2026-09-26