Kimi K3 用开源 delta attention 做到百万 token 上下文
theomitsa · x · 2026-07-26
这条引用强调，Kimi K3 是一个前沿规模的开源模型，并采用了名为 delta attention 的新机制，不再依赖不断增长的 KV cache。
核心卖点是：这种设计让模型能够处理百万级 token 上下文，同时避免显存占用失控。后文还从 attention 的基本原理讲起，解释这种做法为什么重要。
所属事件:月之暗面发布 Kimi K3 万亿参数模型(4 条相关)→
「模型」频道最新
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 爆料称 DeepSeek 因梁文锋拒早押 Agent 转向,痛失 AI4Math 领先位 — teortaxesTex · 2026-10-27