教授将手推Kimi 3大模型架构，解析极端稀疏MoE
ProfTomYeh · x · 2026-08-02
Tom Yeh 教授预告了最新一期的「AI by Hand」系列研讨会，主题聚焦前沿大模型架构。本次讲座将重点解析 Kimi 3（月之暗面）的核心技术，包括 Kimi Delta Attention、注意力残差以及极端 MoE 稀疏性（在2.8万亿参数中仅激活896个专家中的16个）。此外还将涵盖 Google Gemma 4 和阿里 Qwen 3.6 的架构优化细节。
「研究」频道最新
- Hybrid Reasoning Agents 论文:让 Agent 在潜空间思考、用文本行动 — _akhaliq · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16