同级模型蒸馏效果如何
maxsloef · x · 2026-07-18
作者在问一个训练/蒸馏问题：如果有两个性能接近的预训练模型，先正常后训练其中一个，再把它的 rollout 用来蒸馏另一个，后者的性能能逼近到什么程度。
他把这类设定类比为某些模型间的关系，想验证“从接近的同侪而不是更强教师那里蒸馏”是否仍然有效，以及最终能接近到什么水平。
所属事件:探讨同级模型间的Peer蒸馏与后训练效果(2 条相关)→
「模型」频道最新
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩，DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11
- 网友吐槽 GPT-5.6 文笔好读但缺乏记忆点 — BasedRaddka · 2026-09-11
- Opus 以"安全"为由拒碰蛋白质生成代码,开发者吐槽误伤 — josephdviviano · 2026-09-11
- 网友称 DeepSeek 4.1 Flash 是语言模型历史拐点(未证实) — himanshustwts · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
- 开源 LLM 排行榜与定价对照目录,一站式索引比较工具 — Last_Establishment_1 · 2026-09-11