开发者答疑：模型按 8k 训练，调 RoPE theta 可扩长上下文
antoine_chaffin · x · 2026-09-21
模型作者 antoinechaffin 回应关于上下文长度的质疑：
- 延长 maxlen（README 默认 512，可调至 2048/4096/8192）不会损害长上下文表现，8k 正是训练时所用长度。
- 架构细节：编码器采用 18 层 128 token 滑窗注意力 + 10 层全注意力。
- 技术上是 RoPE，想更长可以改 theta 并用更长数据继续训练。
所属事件:模型作者回应长上下文质疑：调 RoPE 可扩展(2 条相关)→
「模型」频道最新
- Claude 疑似真能「听」视频发音，创作者实测发现反常识能力 — RileyRalmuto · 2026-11-12
- 资深研究者抱怨 Claude 安全拦截过严:基础生化工作也触发回退 — rbhar90 · 2026-11-12
- Hugging Face 三大消融团队放量大批 Qwen 无审查模型,按显存对号入座 — udmrzn · 2026-11-12
- Reddit 用户爆料：Qwen 4 Max 输出介于 Kimi 3.1 Pro 与 DeepSeek 之间 — power97992 · 2026-11-12
- a16z 合伙人 Casado 力挺:谷歌 Carbon 写代码「真的很强」 — xennygrimmato_ · 2026-11-12
- OpenRouter 上线 Extractions API:描述字段即从文本/图片/PDF 抽取结构化 JSON — michellechen · 2026-11-12