Liquid AI 去 causal mask:decoder 架构也能做决策模型
helloiamleonie · x · 2026-11-06
Liquid AI 在新版本中融合了 encoder 与 decoder 两大路线的优势:保留 decoder 架构,但去掉了 causal mask。
作者的推理是:causal mask 对「预测下一个 token」的语言模型合理,但如果训练目标是为决策服务,模型理应能看到全部 token。此前开源生态在理解任务上分裂为 encoder 派与 decoder 派,而 Liquid 两派架构都有,第一版各试了一遍,这一版则直接把决策模型的视野放开到双向。
所属事件:Liquid AI 发力决策模型:d1-ultra 登顶 AA 指数并开源 d1 系列(9 条相关)→
「模型」频道最新
- 8 类 LLM 各司其职:一文看懂 AI Agent 里的模型分工 — mdancho84 · 2026-11-07
- ChatGPT 图像 2.6 与 Nano Banana 2.1 对比:一周 40 亿张 vs 价格砍半 — Aiden_Tech_Ai · 2026-11-07
- 基础模型 vs LightGBM 实测:电价预测谁能赢 — nkafr · 2026-11-07
- a16z:AI 应用不该按 token 定价,应在最高价值层收费 — aleximm · 2026-11-07
- 前 Rockstar 技术总监:AI 反编译移植威胁或逼 GTA VI 尽快出 PC 版 — Ars Technica AI · 2026-11-07
- 16GB M2 Pro 跑 Qwen 量化版:120k 上下文仍有 5.5 tok/s — SocietyTomorrow · 2026-11-07