CycleDistill：无需平行语料，首轮蒸馏即让印度语翻译 chrF 提升 20+ 分
cneuralnetwork · x · 2026-10-25
- CycleDistill 方法：从单语文本出发，用 LLM 生成合成翻译，再用这些数据微调模型并循环迭代，无需大规模平行语料。在 Gemma 与 LLaMA 上对印地语、孟加拉语、马拉雅拉姆语做了实验。
- Gemma 2B 零样本设定下，第一轮蒸馏使 chrF 提升：孟加拉语 +26.3、印地语 +29.6、马拉雅拉姆语 +24.5；Gemma 9B 亦有显著提升（+19.7/+16.5/+20.3）。
- 关键发现：绝大部分提升发生在第一轮，后续迭代往往停滞甚至因自我强化错误而退化。作者还尝试在蒸馏中保留教师模型的 top-k token 概率分布（soft distillation）而非只学生成译文。
「研究」频道最新
- Judea Pearl 490 页因果推断入门教材可免费下载并附分章目录 — yudapearl · 2026-10-25
- 新论文提出二元离散扩散:像解数独一样保留候选 token 迭代去噪 — LucaAmb · 2026-10-25
- 34 小时 ATP 视频转动作数据,作者实测称 Claude 是出色的网球教练 — FinanceYF5 · 2026-10-25
- DeepMind 5 个月实测：同一个 AI Agent 同事，有人视若救星有人压力山大 — rohanpaul_ai · 2026-10-25
- LAW：纯自条件化的语言模型，反其道而行之的扩散 LM 思路 — caglarml · 2026-10-25
- 网友给出 Qwen 激活转向配方，两个神经元就能造出「邪恶 Qwen」 — rachittshah · 2026-10-25