NeurIPS 论文：任务越难 LLM 内部表征越稀疏，还可据此优化 ICL
zhaoran_wang · x · 2026-10-27
arXiv 论文《Farther the Shift, Sparser the Representation》(NeurIPS 2026,Mingyu Jin、Zhaoran Wang 等)系统研究了 LLM 面对更难输入时内部表征的变化。
核心发现
- 无论难度来自更难的推理题(MATH-500、DeepMATH-103K)、更多干扰项、知识冲突还是更长上下文，任务越难，模型最后隐藏层表征越稀疏(激活能量集中于更少维度)，相关性 |r|>0.89,在多个模型与任务上均成立。
- 训练小 Transformer 复现该现象：训练早期浓缩式稀疏先升后降，掌握的模式获得稠密分布式表征，而未充分学习的 OOD 输入仍保持稀疏——稀疏-难度关联是习得的稳定机制，而非架构固有属性。
应用：作者据此提出 SG-ICL(稀疏度引导课程式上下文学习)，用表征稀疏度挑选与查询难度匹配的 few-shot 示例，在 MATH-500 上超越标准 CoT 与 Auto-CoT。代码开源于 github/MingyuJ66/SparsityLLM。
「研究」频道最新
- 「模型育种」实验开场：组合特定神经元能让 Qwen 自认是饼干怪 — yacineMTB · 2026-10-27
- EMNLP 论文：用稀疏自编码器做基于文本的因果混杂调整 — anjalie_f · 2026-10-27
- Volta 发布 Blackwell 内核验证器，让 LLM 直接生成 PTX 绕过编译器层 — Azaliamirh · 2026-10-27
- 约翰霍普金斯 NLP 团队亮相 EMNLP 2026 布达佩斯 — mdredze · 2026-10-27
- 网友直改 Qwen 单个神经元，把模型改写成 3000 年外星人 — MarcJSchmidt · 2026-10-27
- looped transformer 中发现「非二元论」神经元等五个概念神经元 — burny_tech · 2026-10-27