开源模型新趋势:研究者正疯狂移除全局注意力层

yacineMTB · x · 2026-08-04

Yacine 转发了一个关于开源模型研究趋势的梗图和讨论。原推调侃开源模型的研究者们正试图从模型中移除尽可能多的全局注意力层。随后 Elie Bakouch 评论暗示,目前世界上最大的两个开源模型已经在使用线性注意力机制。

原文链接 →

「Fun」频道最新

更多「Fun」频道 AI 资讯 →