学生模型凭无关词序列学会预测随机 MLP 输出
OwainEvans_UK · x · 2026-10-10
Owain Evans 蒸馏传播研究的一环：教师模型学会预测 420 参数随机初始化 MLP 的输出（预训练中不可能出现的映射，教师需 5 万样本学会），随后用其生成的、已过滤数字与任务相关词的词序列和 Alpaca 回答微调全新学生模型，学生仍学会了该任务，只是弱于教师。
所属事件:Owain Evans 团队新论文：蒸馏可经无关数据无声迁移技能与后门(13 条相关)→
「研究」频道最新
- 理论计算机学者谈 AI 冲击数学:别慌,等一等再说 — fortnow · 2026-10-10
- 首份 agent skills 传播图谱: auditing 百个仓库可拦截 14.9% 高危技能采纳 — UBC-O · 2026-10-10
- 给注意力加物理偏置:软线仿真预测误差降 15% 以上 — Avihai Giuili · 2026-10-10
- GitSwarm 论文:用 Git 仓库让 Agent 群体的推理可积累可追溯 — anirudhg9119 · 2026-10-10
- GitSwarm 无角色分工,Agent 群自发按任务切换协作模式 — anirudhg9119 · 2026-10-10
- GitSwarm 实测 AutoResearch:让 Agent 群自主改进模型架构 — anirudhg9119 · 2026-10-10