LLM 训练目标是预测下一个词元,不是做决策——朴素分类法的问题
helloiamleonie · x · 2026-11-06
作者列出朴素方案的六步:拼 prompt、一次前向传播、取最后位置的 logits、只保留选项级词元、softmax 得到决策。并指出根本问题:LLM 的训练目标是预测下一个 token 而非做决策,因此这种用法天生不稳。
「编程与Agent」频道最新
- 开发者用 PlayAstrocade 做 AI 游戏上瘾:AI 擅长复刻,不擅创新 — andrey_kurenkov · 2026-11-07
- 8 类 LLM 各司其职:一文看懂 AI Agent 里的模型分工 — mdancho84 · 2026-11-07
- gemini-cli 修复 macOS PTY 主描述符泄漏 PR — ugorla-dev · 2026-11-07
- 一次清理砍掉 7500 行代码:CI 去重后成本降 40%、提速 15% — DanielLockyer · 2026-11-07
- PE 董事会视角复盘:砍掉工程师换 AI 的八步轮回,一年后才见效 — alex_verem · 2026-11-07
- Meta 研究员承认:模型未针对 Codex 调优,将改进 harness 随机化 — JoshPurtell · 2026-11-07