Kimi K3技术报告深度解读:Delta Attention、专家平衡与AgentENV
noninertialframe96 · reddit · 2026-07-31
Moonshot发布的Kimi K3模型达到前沿水平,Artificial Analysis排名第四(仅次于Claude Opus 5、Fable 5、GPT-5.6 Sol)。技术报告亮点:
- Kimi Delta Attention:用128x128矩阵替代69/93层的KV缓存,1M token上下文仅需27.2 GiB(原104.6 GiB)。
- Quantile Balancing:896专家/层均匀负载,直接计算偏置而非固定步长。
- AgentENV:Firecracker微VM运行时,RL训练中创建5100万沙箱,检查点133ms,恢复49ms。
全文解读:https://codepointer.substack.com/p/how-kimi-k3-engineered-its-way-to
所属事件:Moonshot 发布开源旗舰 Kimi K3,多项指标逼近闭源前沿(7 条相关)→
「模型」频道最新
- 反驳 AI 涨价论,某模型宣布大降价最高达 80% — sandersted · 2026-07-31
- DeepMind发布Gemini Robotics 2:人形机器人实现全身控制与灵巧操作 — DynamicWebPaige · 2026-07-31
- OpenAI 大幅下调 API 价格:GPT-5.6 Luna 降价 80% — cto_junior · 2026-07-31
- 实测:Kimi K3 模型成功在普通家用地下室 PC 上本地运行 — Yuchenj_UW · 2026-07-31
- OpenAI 确认 HF 泄露模型非 GPT-6,内部曾测试降低安全拒绝率 — rickasaurus · 2026-07-31
- AWS 官方详解 Kimi K3 部署:需 8 张 B300 GPU — AWS ML Blog · 2026-07-31