单层 Transformer 的 MLP 块演示中自造新词
Sauers_ · x · 2026-10-05
作者分享一个链接，展示单层 Transformer 的 MLP block 在运行中「发明」出一个新词的现象，暗示即使极简架构中 MLP 也会产生超出简单查表的内部表示行为。
「研究」频道最新
- 新加坡团队 Show-Harness：无需重训，VLM 直接开机器人 — jiqizhixin · 2026-10-05
- SFT 复兴论文遭质疑:评测设置全无披露,单次采样数字近乎无意义 — hyunw_kim · 2026-10-05
- LeCun：AI 进展正让系统神经科学变得前所未有的兴奋 — s_y_chung · 2026-10-05
- repligate：模型行为难解读不该成为研究阻碍，记住现象、别急着下结论 — repligate · 2026-10-05
- AI 筛出 44 个恒星系统,或藏未发现的类地行星 — Brighter-Side-News · 2026-10-05
- 反直觉发现:回归模型竟是出乎意料好的记忆机制 — HanGuo97 · 2026-10-05