Recirculation 架构助 Gemma3 困惑度显著降低

xennygrimmato_ · x · 2026-08-20

展示 Gemma3 模型系列在使用 Recirculation 架构后困惑度的降低情况。对比图显示,相较于 Unrolled loop transformer,Recirculation transformer 在不同模型家族中均能实现困惑度下降。

所属事件:Recirculation 架构在五大模型家族中显著降低困惑度(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →