十几行代码把任意 LLM 变成决策模型:纯推理免训练方案
helloiamleonie · x · 2026-11-06
作者给出核心实现:这是一个纯推理(inference-only)技术,只需任意 LLM(示例用 LiquidAI LFM3-1.7B)。要点:给每个选项附加单 token 选项码(A/B/C),一次前向传播不生成文本,直接读下一 token 的 logits,只保留选项码对应分数,softmax 后得到各选项概率。附 transformers + torch 的完整代码。
「编程与Agent」频道最新
- 开发者用 PlayAstrocade 做 AI 游戏上瘾:AI 擅长复刻,不擅创新 — andrey_kurenkov · 2026-11-07
- gemini-cli 修复 macOS PTY 主描述符泄漏 PR — ugorla-dev · 2026-11-07
- LFM2.5/CTM 等 Liquid 模型启动 LoRA RL 训练,主攻 agent 任务 — omarsar0 · 2026-11-07
- 一次清理砍掉 7500 行代码:CI 去重后成本降 40%、提速 15% — DanielLockyer · 2026-11-07
- PE 董事会视角复盘:砍掉工程师换 AI 的八步轮回,一年后才见效 — alex_verem · 2026-11-07
- Meta 研究员承认:模型未针对 Codex 调优,将改进 harness 随机化 — JoshPurtell · 2026-11-07