WISD:用弱化版模型蒸馏出训练信号,无需特权数据
jet-ai · hf · 2026-10-31
新论文提出 WISD（Weakening-Induced On-Policy Self-Distillation）：通过对大推理模型做量化或剪枝得到更弱的版本，让强弱模型对比来产生训练信号，从而在不依赖特权数据（如标准答案、过程标注）的前提下改进推理能力。
「研究」频道最新
- 斯坦福 NLP 组转发：AI 人物维基收录教授 Tatsunori Hashimoto 词条 — stanfordnlp · 2026-10-31
- Stony Brook 教授实测 50 本前 ChatGPT 时代小说，AI 检测误报为零 — TuhinChakr · 2026-10-31
- 斯坦福 TaskNet 用工人访谈构建职业任务图谱,覆盖 318 个任务 — stanfordnlp · 2026-10-31
- OpenAI 与 Anthropic 宣称 AI 攻克悬置 27 年的计算机科学难题 — Fcking_Chuck · 2026-10-31
- 无配对数据也能跨模态对齐：Wasserstein Procrustes 新论文梳理 — phillip_isola · 2026-10-31
- MIT 教授实测：图像与文本嵌入仅靠一次旋转即可对齐 — phillip_isola · 2026-10-31