Liquid AI 决策模型关键设计:解除 decoder 的因果掩码,让模型看全上下文
helloiamleonie · x · 2026-11-06
Liquid AI 的 Leonie 介绍其最新发布的核心设计:采用 decoder 架构但解除因果掩码(causal mask)。因果掩码对「预测下一个 token」的训练是合理的,但决策模型凭什么不能看到所有 token?解除后双向注意力优于因果注意力,得到一个专为做决策训练的模型——但随之引出过度自信的新问题。
所属事件:Liquid AI 去除因果掩码，decoder 架构改造决策模型(3 条相关)→
「模型」频道最新
- Grok Bot 周额度骤降引众怒，$300/月 SuperGrok 用户集体退订 — steipete · 2026-11-06
- 研究者吐槽:Opus 过度安全拦截,连已有报告的简单问题都触发 — DimitrisPapail · 2026-11-06
- 苹果 GSM-Symbolic 论文：只改名字数字，SOTA 模型数学成绩就大跌 — imjustnewatai · 2026-11-06
- 开发者用 Heretic 微调 Qwen3-4B，回复长度砍半的「惜字如金」模型 — -p-e-w- · 2026-11-06
- Robot RSI 概念走红：让机器人给机器人装环境，实测两大模型能否完成 — qinzytech · 2026-11-06
- 网易有道开源 Confucius4-R2T2:永不改写的低延迟流式语音识别 — dr_cintas · 2026-11-06