researchers 辩论双向注意力：检索微调放大后因果性或可舍弃

antoine_chaffin · x · 2026-09-11

Hugging Face 研究人员 antoinechaffin 与 bclavie、dmnsl1 讨论非生成任务中双向注意力（bidirectionality）与因果注意力的取舍。antonechaffin 认为：如果模型要用于任何受益于因果性的任务（哪怕 n 个任务中只有一个），他愿意放弃双向性。但他同时指出，越来越多证据表明可以在检索微调阶段把双向性「调大」（在规模足够时），之后即可直接使用；他仍认为对非生成任务全程保持因果注意力是浪费的。