首个开源模型采用 Kimi/GLM 的 per-head 正交化技术
stochasticchasm · x · 2026-08-28
博主更正此前的观察，指出某开源模型实际上确实跟随了 Kimi 和 GLM 的技术路线，采用了 per-head orthogonalization（逐头正交化）处理。这是博主印象中首个采用此技术的开源模型。
「研究」频道最新
- DiffusionGemma 可解释性研究：发现扩散模型非时序推理等新现象 — burny_tech · 2026-08-28
- 新研究探索推理时激活空间上的策略梯度推理 — burny_tech · 2026-08-28
- GLM-5.2 引入监控机制，有效对抗 RL 奖励黑客攻击 — burny_tech · 2026-08-28
- 机器学习数学入门路线：从微积分到 LLM 的 7 门课 — burny_tech · 2026-08-28
- 观点：RLHF 对齐诚实与无害性已失效，为何还要继续？ — ben_j_todd · 2026-08-28
- 北大联袂可灵团队发布MAVIN，攻克多镜头视频生成叙事难题 — 机器之心 · 2026-08-28