扫 7170 万训练文档,定位一个只对 Tornado 代码段兴奋的神经元
builderjaydub · x · 2026-10-17
发帖人展示了一次可解释性实验:模型中的神经元 L55/N11703 只对包含 Python Tornado 库的特定代码片段产生超过最大激活值 30% 的强烈响应,其他多数含 Tornado 的代码只是中等激活。
实验做法
- 从预训练语料中检索 7170 万份文档,范围从科罗拉多到玻利维亚,覆盖「tornado」的各语义
- 用不同长度的文本触发 prefill 并采集激活
- 结果显示:科罗拉多相关概念明确触发该神经元,说明它在训练中把 Tornado 框架代码与地理/龙卷风语义纠缠在了一起
- 通过 steering(激活引导)也能复现效果
这为「预训练数据中的语义污染如何塑造神经元」提供了一个直观的实证案例。
所属事件:扫描 7170 万训练文档，实验定位单一神经元功能(3 条相关)→
「研究」频道最新
- AI 数学研究使用指南发布：面向年轻数学家的实操建议 — vaibhavbetter · 2026-10-17
- tszzl：单个神经元证据支持多语义性，但反驳叠加假说 — tszzl · 2026-10-17
- 瑞士 Apertus 1.5 开源:8B/70B 支持图像音频,上下文达 26 万 token — lmoroney · 2026-10-17
- 从单个人工神经元到 Transformer：一张 AI 架构「进化树」全景 — abhishekkumar333 · 2026-10-17
- 开源触觉套件 FlexiTac 上手 SO101,社区实测策略收敛更快更省样本 — k7agar · 2026-10-17
- 推荐读物：《Limits of Mathematics》系统梳理数理逻辑关键领域 — FrnkNlsn · 2026-10-17