BITS研究员拆解LLM：同分不同解，是推理还是背题？
paraschopra · x · 2026-10-27
lossfunk 第 9 期成员 Adya 的研究项目「reasoning-reliability」：为什么准确率相近的 LLM 在陌生问题上表现差异很大——模型答对时到底是推理出来还是背出来的？
她的方法分三步：构建超越准确率的推理稳健性 benchmark（改写不应改变答案的题面、在解题中途植入假值，用三个独立探针一致判定每道题是「计算」还是「检索匹配」）；用机制可解释性查看开放权重模型内部的表征路径；再用发现指导 post-training 与推理时干预。
长期目标是给 AI agent 加一个可靠性层：识别可能失败的模式，按需触发验证循环或工具调用，选择性分配推理算力，让 agent 在陌生任务上泛化更好同时降低不必要的推理成本。目前已在 5 个模型、3 类任务上得到初步结果，正在寻找算力、实验室和导师支持。
「公司和人」频道最新
- ServiceNow 携手 Google Cloud，把行业工作流接入 Gemini Enterprise — azavery · 2026-10-27
- 开发者担忧：Steam AI 标签伤的是认真做游戏的，而非 AI 滥用者 — gdechichi · 2026-10-27
- Steam 给用 AI 的独立游戏标红，开发者吐槽双标：代码可以 AI 美术不行 — gdechichi · 2026-10-27
- 开发者算账：Valve AI 标签让 5 万美元 AI 辅助开发游戏承受真实经济损失 — gdechichi · 2026-10-27
- 博主撰文科普指数时间假设，质疑 OpenAI 宣称其为假的说法 — Gravity13 · 2026-10-27
- Anthropic 研究员被指影射 OpenAI 窃取结果，社区哗然 — DeryaTR_ · 2026-10-27