「绝对零度注意力」论文:零温度读取让 7B 模型推理从44%跃升至精确

Mostafa 'Neo' Mohsenvand · hf · 2026-11-19

论文《Attention at Absolute Zero》提出一种高阶注意力层:状态建立在「物品对」上,每个第三物品 k 作为「见证者」被评估,然后在零温度下读取分数——只保留最佳见证者及其并列者,仅传递比较计数所需的比特,并在每轮循环中从输入重建状态。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →