onóna 双嵌入表权重共享:降低验证损失与困惑度
Cheng Luo · hf · 2026-11-11
Cheng Luo 等人发布 onóna:一种面向 Transformer 语言模型的双表权重共享方法,在保留输入-输出权重共享的同时提升输出表达力。模型取两张嵌入表的均值作为输入,输出头组合由这两张表定义的 softmax 分布,门控仅依赖当前输入 token。
跨多种架构与规模实验显示,该方法降低验证损失与困惑度,代价是额外一张嵌入表和词表投影。
「研究」频道最新
- Data Colada 再揭 Francesca Gino 合著论文数据造假证据 — danielrock · 2026-11-11
- Fable 5.2 登顶 GDPx 芯片设计榜，出题方自曝其任务零提升 — ycombinator · 2026-11-11
- 理论计算机科学家问 Claude：新证明中关键变量的复杂度是 Promise-BQP 完全 — fortnow · 2026-11-11
- 改写不到 10 个休眠神经元即可给 LLM Agent 植入后门 — DimitrisPapail · 2026-11-11
- 杜克普林斯顿论文:100 个 agent 拆成 10 支小队并行,胜过单队和单 agent — rohanpaul_ai · 2026-11-11
- Deletion Tuning:只清零 0.05% 权重即可媲美全量微调 — Thrumpwart · 2026-11-11