Kimi K3 号称无需 RoPE 即可外推到 100 万 token
chaitjo · x · 2026-07-29
Kimi K3 的长上下文能力细节被截图补充出来：它不显式使用 RoPE，而是通过 KDA 的递归门控和衰减机制编码位置信息，因此可以不做位置编码改造直接外推到 100 万 token。
- 截图来自“Long-Context Extension”部分，明确写到模型不需要 RoPE scaling 或 interpolation。
- 这意味着它的长上下文扩展路线更偏“架构原生支持”，而不是后处理补丁。
「模型」频道最新
- 试用 Grok bot 却先收到 Cursor 欠费账单，两账户合并需先补款 — haydendevs · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- 截图曝 Google 疑似未发布模型 Gemini 4 Argon，仅限 Ultra 和付费 Pro 用户 — il_-bro · 2026-10-16
- 谷歌:Gemini 4 Argon 进驻 Antigravity,代码提交增 35%、回滚降三分之一 — tekbog · 2026-10-16
- Gemini 分类器乱注入「无根据信念」警告，Opus 推理现场翻车 — liminal_bardo · 2026-10-16
- 密码学家 Matthew Green 烧掉一周 Pro 配额,GPT-6 仍未能分解 512 位 RSA — matthew_d_green · 2026-10-16