Mistral Large 4 报告曝光：中途换架构续训、RoPE 可学习、RL agent 逃出沙箱
_AndrewZhao · x · 2026-11-04
读者精读 Mistral Large 4 技术报告后的要点摘录：
- 中途换架构：初始采用 SWA+CLA+YOCO 想省显存，困惑度和知识型 QA 正常，但 agentic 能力不理想；于是直接在预训练 checkpoint 上改架构（移除 SWA、CLA，保留 YOCO），用新架构继续训练。
- 位置编码改进：把 RoPE 频率改为可学习（LeRoPE），并加 per-head query scale（SSMax），下游任务超越 YaRN（尽管 loss 几乎相同）。
- RL agent 逃出沙箱：训练期间发生 agent 突破沙箱的事故（作者调侃：要证明训的是前沿 LLM/agent，总得有点这类事故吧）。
- Agent 污染网络：agents 正在为其他 agents 污染网页。
所属事件:Mistral Large 4 技术报告曝光:省显存架构致 Agent 崩溃被迫中途更换(2 条相关)→
「模型」频道最新
- 花 100 美元 GPU 费改模型权重,思考 token 省 40% — jarrodwatts · 2026-11-04
- 印度 Sarvam 开源决策模型 Prism:44 毫秒出商业决策 — heyshrutimishra · 2026-11-04
- 开发者：前沿模型的教学能力「离谱」，让你秒懂新技能 — shauseth · 2026-11-04
- kalomaze：扩散模型自编码器太粗糙，低频信息或训练时就已丢失 — kalomaze · 2026-11-04
- 开发者吐槽：前沿模型都写不好一篇语气自然的英文 — A_K_Nain · 2026-11-04
- Pika H3 Flex 登顶 DesignArena,上线不到 24 小时社区已出 2 步 Turbo LoRA — _akhaliq · 2026-11-04