HF 研究者激辩非生成任务是否还需双向注意力

Hugging Face 工程师 antoinechaffin 与 bclavie、dmnsl1 等围绕非生成任务中因果注意力与双向注意力的取舍展开讨论。观点认为当前业界把因果注意力用于所有任务是在浪费算力，但越来越多证据显示，只要把模型规模做大，在检索微调阶段「调高双向性」即可解决问题，不必依赖特殊架构。

2026-09-11 ~ 2026-09-11 · 2 条相关

• HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
• researchers 辩论双向注意力：检索微调放大后因果性或可舍弃 — antoine_chaffin · 2026-09-11