模型训练猜想：禁止优化 <think> 块可能意味着优化激活值
CFGeek · x · 2026-08-19
CFGeek 回复了关于模型训练中禁止优化 <think> 输出块的假设。对方认为“当禁止对 <think> 块进行优化时，你就是在保证对输出文本进行优化”。CFGeek 认为这是一个有趣的实验假设，可以接受；但他也推测另一种可能性：如果不优化 <think> 输出，可能意味着激活值在某种特定方式不改变输出文本的情况下被优化了。
所属事件:Neuralese定义演变引发社区争议(4 条相关)→
「研究」频道最新
- SpliceAI2 剪接变异基准发布,九项评估性能大幅提升 — anshulkundaje · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- RFdiffusion3 登 Science:蛋白酶与金属水解酶设计大幅改进 — anshulkundaje · 2026-10-16
- ORL 让扩散语言模型重写速度-智能 Pareto 前沿,吞吐量提升约 6.9 倍 — james_y_zou · 2026-10-16
- CoT 理论论文被赞“解释了 Transformer 为何胜出” — willcb · 2026-10-16
- 陶哲轩警告 AGI 竞赛变味:OpenAI 论文轰炸冲垮初级研究项目 — Hesamation · 2026-10-16