Kimi K3 用开源 delta attention 做到百万 token 上下文
theomitsa · x · 2026-07-26
这条引用强调，Kimi K3 是一个前沿规模的开源模型，并采用了名为 delta attention 的新机制，不再依赖不断增长的 KV cache。
核心卖点是：这种设计让模型能够处理百万级 token 上下文，同时避免显存占用失控。后文还从 attention 的基本原理讲起，解释这种做法为什么重要。
所属事件:月之暗面发布 Kimi K3 万亿参数模型(4 条相关)→
「模型」频道最新
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11