「绝对零度注意力」论文:零温度读取让 7B 模型推理从44%跃升至精确
Mostafa 'Neo' Mohsenvand · hf · 2026-11-19
论文《Attention at Absolute Zero》提出一种高阶注意力层:状态建立在「物品对」上,每个第三物品 k 作为「见证者」被评估,然后在零温度下读取分数——只保留最佳见证者及其并列者,仅传递比较计数所需的比特,并在每轮循环中从输入重建状态。
- 核心主张:软注意力的三类失效(权重弥散、分数间隙未定、软状态漂移)都可以通过「冷读取」消除
- 最大检索:训练规模 1000 倍的集合上,10 个随机种子全部达到 ≥99.95% 正确;同网络若用软计数训练,4096 项时跌至 42%
- CLRS-30(无 hints):通用版本超过已发表最佳模型(后者部分任务还需 hints);完全冷版本在 12 个仅靠比较使用数字的任务中的 9 个上对所有测试输入精确无误
- 符号推理:从是/否答案出发,可在 500 变量下精确判定 2-SAT 和二着色,而奇偶方程不能——与理论预测一致
- 结合冻结 7B LLM:仅在 16 条样本上训练后即可在 1000 条家庭关系陈述上精确推理(模型单独仅 44%);在 CLUTRR 上精确学得全部 62 条规则,从文本出发将开源 7B 模型从 33% 提升到 65%,除前沿推理模型外优于所有无手写规则的系统
- 配图展示了交互式 demo 与架构图:每轮循环用相同权重计数/比较见证、输出 64 个判决比特与强度值
「研究」频道最新
- NVIDIA 联手 Baker 实验室用 AI 设计出降解农药的酶,活性提升千倍 — AllThingsApx · 2026-11-19
- OpenAI 96 项基准难度图:数学与 AI 研究优先,多模态安全类稀缺 — scaling01 · 2026-11-19
- π⁴ 基础模型发布:单次前向推理搞定 4D 场景几何与运动 — rsasaki0109 · 2026-11-19
- EEG 信号「不烂也不精」:噪声数据能否用,取决于任务所需的回归精度 — jonxuxu · 2026-11-19
- 智能体集群从交互网络理论设计出新 CPU,能效达传统芯片 4.6 倍 — lukaszkaiser · 2026-11-19
- 史上最大规模直播式开源预训练完成,Marin 在 HuggingFace 放出 checkpoint — Diyi_Yang · 2026-11-19