HF 工程师争论:非生成任务全用因果注意力是在浪费算力
antoine_chaffin · x · 2026-09-11
antoinechaffin 在 encoder-decoder 新架构讨论中补充观点:
- 越来越多证据表明,如果把模型规模做大,只需在检索微调阶段「调高双向性」即可解决问题。
- 但他认为对非生成类任务全程使用 causal attention 是浪费——两条路依然有讨论空间。
- 上下文:bclavie 已转向 causal 派,认为超过一定规模后双向注意力并非必需。
所属事件:HF 研究者激辩非生成任务是否还需双向注意力(2 条相关)→
「研究」频道最新
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- 网友玩坏可解释性:找到了让 Qwen「发疯」的神经元 — sebkrier · 2026-10-28
- 不开向量检索也能拿 86.67%,开源记忆层 Mind 挑战 embedding 必要性 — GabrielMartinMoran · 2026-10-28
- 提议：给每篇 arXiv 论文找最短复现 prompt,度量真实信息增量 — tak3sh8 · 2026-10-28
- Piano2Pop：无需对齐监督，把钢琴 demo 自动扩展成完整流行歌 — affige_yang · 2026-10-28
- RAX让真机器人探索2小时自学技能，再把技能写成代码复用 — du_yilun · 2026-10-28