作者可视化计数模型内部：负数与正数在层间像「有丝分裂」般骤然分离
dejanseo · x · 2026-10-26
dejanseo 展示了一个被训练来计数的微型模型（宽 3、深 32）的层间转换可视化，他称之为「bag里的猫」：隐藏状态中的数字（-999 到 999，每个数字对应一个点）像困在袋中的生物一样扭动，直到某一层发生「有丝分裂」式的相变，负数与正数骤然分开。这是对小型网络内部表征如何组织数值概念的一个直观观察。
「研究」频道最新
- 评测框架背锅:换掉 Pi Harness 后 Gemini 4 Argon 逼近 Opus 5.5 — banteg · 2026-10-26
- Trends in Cognitive Sciences:婴儿早期能力源于注意先验而非核心知识 — abenitezburraco · 2026-10-26
- Stanford 与 Berkeley 发布 TokenGate：长上下文预填充最高提速 11.3 倍 — MundanePercentage674 · 2026-10-26
- 三篇先进封装论文:CoWoS-R 可靠性与 EMIB-T 扩展路径 — jwt0625 · 2026-10-26
- 投机解码科普:猜错率 30% 也不改输出,一个减法保证答案不变 — anbarth · 2026-10-26
- 新研究挑战 VAD 三维模型：词义更接近善意-力量-攻击-危险-结构 — abenitezburraco · 2026-10-26