Cresta 研究者:强骨干模型加少量微调即可超越依赖合成数据

antoine_chaffin · x · 2026-10-10

antoinechaffin 回应关于骨干模型改造的提问:理论上可把任务转成 MCQA、只从解码层解码候选标记实现零样本;实践中需解除因果掩码并用足够的自然数据做小规模微调即可。他强调不是说合成数据无用,而是当前强骨干模型配有机数据已足够拿到很强成绩——他们的模型未用任何合成数据就在多数基准上领先。

所属事件:Cresta 研究者称强骨干模型无需专用合成数据(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →