小模型实验也能看出差异
Turn_Trout · x · 2026-07-13
作者补充说,这组实验使用的是 **Qwen2.5-7B**,而且数据集规模只有 Anthropic 论文的 **1/5**。 这意味着相关结论是在较小模型、较小数据量下得到的,更多是在说明:即便规模不大,NLA 的训练行为也会受到初始化猜测的明显影响。
Turn_Trout · x · 2026-07-13
作者补充说,这组实验使用的是 **Qwen2.5-7B**,而且数据集规模只有 Anthropic 论文的 **1/5**。 这意味着相关结论是在较小模型、较小数据量下得到的,更多是在说明:即便规模不大,NLA 的训练行为也会受到初始化猜测的明显影响。