疑似前沿模型架构细节：无RoPE与混合注意力
nrehiew_ · x · 2026-07-16
推文分析了疑似某前沿模型的架构细节。注意力机制方面：采用了滑动窗口，并在 KV 和残差连接上使用了 1D 卷积；完全弃用 RoPE，改为基于距离收集相对位置偏置。MoE 侧：总参数量 975B，激活参数 41B，训练使用了 45T 多模态 token；采用类似 DeepSeek v3 的架构，但包含 6 个路由专家和 2 个共享专家（通常为 1 或 0），提高了稀疏率。
所属事件:Inkling 表现与相关架构猜测升温(7 条相关)→
「研究」频道最新
- 定位探针检测机制:仅 user token 隐状态与单个注意力头决定行为 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18
- Qwen3-8B 实验证实:连只读探针都会被模型察觉 — Sauers_ · 2026-10-18
- 只保存激活的只读探针也能被 SFT 出的检测能力发现 — Sauers_ · 2026-10-18
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 模型能区分训练与部署,还会仅在编译版里用 logit lens 留密信 — Sauers_ · 2026-10-18