把问题放到 prompt 开头，本地 Qwen 准确率 89%→100%，延迟降 5 倍
Micha0827 · reddit · 2026-09-21
作者用本地 Qwen 模型做「类型化决策」：给定状态和一个答案受限的问题，直接读一次前向传播的 logits 概率而非生成文本。他发现把 prompt 从「先情境后问题」改为「先问题和候选答案、状态放最后」，效果同时提升：在 38 个短情境的基准上，M2 Max 上跑 4-bit Qwen3.6-35B-A3B，英语准确率 89%→100%，德语 89%→97%，中位延迟约 400ms→80ms。
- 速度提升原因：问题块成为所有调用相同的前缀，可被 KV cache 复用，只算一次。
- 准确率提升原因：作者推测模型在已知「要找什么」时对状态的解读方式不同。
- 注意事项：长文档场景下「问题先行」仍提升准确率，但会慢 6–8 倍，因为文档无法跨问题缓存。
代码与基准已开源：github.com/Micha0827/snapjudge，作者想验证该效应是否同样适用于 JSON 抽取、工具路由等常规生成任务。
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12