模型作者回应长上下文争议:真正瓶颈是训练数据稀缺与成本
antoine_chaffin · x · 2026-09-21
在关于其模型(团队混合注意力设计)长上下文能力的争论中,作者 antoinechaffin 解释:长期以来长上下文的主要限制是训练数据和成本,而非注意力结构。混合局部+全局注意力降低了成本,但天然的长上下文训练数据极少,所有模型超过一定长度后性能都会大幅退化。他补充说该模型按 8k 训练,基于 RoPE 的话改 theta 再用更长数据训练即可扩展。
所属事件:模型作者回应长上下文质疑：调 RoPE 可扩展(2 条相关)→
「模型」频道最新
- Claude 疑似真能「听」视频发音，创作者实测发现反常识能力 — RileyRalmuto · 2026-11-12
- 资深研究者抱怨 Claude 安全拦截过严:基础生化工作也触发回退 — rbhar90 · 2026-11-12
- Hugging Face 三大消融团队放量大批 Qwen 无审查模型,按显存对号入座 — udmrzn · 2026-11-12
- Reddit 用户爆料：Qwen 4 Max 输出介于 Kimi 3.1 Pro 与 DeepSeek 之间 — power97992 · 2026-11-12
- a16z 合伙人 Casado 力挺:谷歌 Carbon 写代码「真的很强」 — xennygrimmato_ · 2026-11-12
- OpenRouter 上线 Extractions API:描述字段即从文本/图片/PDF 抽取结构化 JSON — michellechen · 2026-11-12