用真实来源替代蒸馏思路
jon_durbin · x · 2026-07-11
作者反对直接做 distillation，理由包括：它最多只能学到 teacher 的上限，还会把 teacher 的知识缺口一起编码进去，而且过程本身难以验证。 他提出的替代方案是： - 建一个包含真实、可追溯来源的大型图数据库； - 从“答案”反推“问题”，而不是反过来； - 在每一步都做可验证的检查。 帖子强调这条路线更 grounded，也更适合做高质量 synthetic data。
jon_durbin · x · 2026-07-11
作者反对直接做 distillation，理由包括：它最多只能学到 teacher 的上限，还会把 teacher 的知识缺口一起编码进去，而且过程本身难以验证。 他提出的替代方案是： - 建一个包含真实、可追溯来源的大型图数据库； - 从“答案”反推“问题”，而不是反过来； - 在每一步都做可验证的检查。 帖子强调这条路线更 grounded，也更适合做高质量 synthetic data。