MIT 研究揭示：往 LLM 权重加噪声免训练提升推理，实为伪装的采样
kastnerkyle · x · 2026-10-31
转推 nicodufour 对 Neural Thickets（@yulegan、@phillipisola）方法的解读：给 LLM 权重加入随机噪声、保留最优副本并让它们投票，无需任何训练即可让推理能力跳升。
原帖进一步解释了其原理：这本质上是「伪装的采样」——把数十亿权重上的噪声扰动，换成在 logits 上加一个随机向量，能得到同样的增益，说明效果来自解码端的随机性而非权重层面的改变。
「研究」频道最新
- 一行 torch.index_add_ 即可指纹识别具体 GPU，重启也无法伪造 — CatAstro_Piyush · 2026-10-31
- 基因序列模型需 500bp jitter 才能消除中心位置偏差 — anshulkundaje · 2026-10-31
- 序列模型 jitter 权衡：过大稀释峰值强度信号 — anshulkundaje · 2026-10-31
- 礼来与诺和诺德 GLP-1 药物显示可延缓生物衰老时钟 — rand_longevity · 2026-10-31
- Anthropic 用数千个 Claude 红队智能体自动挖出隐蔽训练数据后门 — AnthropicAI · 2026-10-31
- 无法回答的问题会虚高 Recall@K，开发者开源 RAG 评测工具纠正指标偏差 — infrixo · 2026-10-31