蒸馏未必补得上深度推理
willccbb · x · 2026-07-11
作者不认同“Sonnet 5 只要从更深的模型蒸馏就会很强”这种说法。
他的核心观点是：更深的模型本来就能用更少 token 完成推理；如果让 Sonnet 去模仿这种模式，反而可能学到“跳过内部步骤”的表层行为，导致推理时卡顿或幻觉增多。
「模型」频道最新
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27