社区笔记证伪 MoE 远距离 token 不共享专家的说法

Nathan Young 引述 Goodfire AI 的 Nick Cammarata 与一条社区笔记的争论：有人声称 MoE 模型中相距很远的 token 不会路由到同一专家，该说法被社区笔记证伪。相关背景是 Common Notes 浏览器扩展，它可在任意文章或 YouTube 视频上叠加类似社区笔记的注释层，已提供 Chrome 与 Firefox 版本下载。

2026-10-24 ~ 2026-10-24 · 2 条相关

• MoE 模型「语义远距离 token 不共享专家」说法被社区笔记证伪 — NathanpmYoung · 2026-10-24
• Common Notes 浏览器扩展:在任何文章/视频上叠加社区注释 — NathanpmYoung · 2026-10-24