Kyutai 等复现 Neural Thickets：收益无需权重扰动，冻结模型加 logit 偏置即可
kastnerkyle · x · 2026-10-31
Kyutai、Meta FAIR、UC Berkeley 与 Google DeepMind 的 arXiv 论文（2610.40649）重新检验了 Neural Thickets 假说——即预训练语言模型周围存在可由随机高斯扰动发现的任务专家。
核心发现：
- 复现了收益，但推翻了几何解释：报告的性能提升确实存在，却不需要「权重空间邻近专家」这一解释。
- 全权重扰动完全没必要：只扰动单个 decoder block 甚至仅 value projection 就能恢复大部分收益。
- 提出 Logit PSV：完全冻结模型，只在输出 logits 上加固定随机高斯偏置，即可匹敌或超过全权重扰动集成，是免训练的替代方案。
- 一阶分析：权重扰动的收益本质上是低效地诱导了结构化的 logit 偏移。
- 真正机制是经典集成：收益来自输出多样化、基于验证集的选择与多数投票，可形式化为 Perturb-Select-Vote 流程；强基座模型上简单的温度调优多数投票（TT-MV）即可匹敌全权重 PSV。
- 扩展到视觉：在 DINOv3 等模型与域外任务（如对地观测）上，仅 logit 扰动显著提升性能，全权重扰动几乎无额外收益。
「研究」频道最新
- NVIDIA 团队发布 ScheduleGen：攻克多臂操作数据生成难题 — KyleMorgenstein · 2026-10-31
- 4B 模型学 11.7 万条决策样本：各项媲美 Jev，唯独读不懂讽刺 — SRSchmidgall · 2026-10-31
- David Baker 团队新预印本：蛋白质设计可降低 CD8⁺ T 细胞免疫原性 — gottapatchemall · 2026-10-31
- 公司按篇付费 $300 收购 ICLR/NeurIPS 一作问卷，研究生薅羊毛贴 — Icy-Park4287 · 2026-10-31
- Gary Marcus 讽刺 OpenAI 新算法:变量阈值 10^25,实跑仍是指数时间 — AlexTensor · 2026-10-31
- NVIDIA BindClaw 引发观察：AI4Bio 新方法必须接入 Agent 流水线才算完整 — rishabh16_ · 2026-10-31