Qwen3-1.7B 早算出正确答案却没交卷,Interference Search 回应质疑
Badtheorylabs · x · 2026-09-26
Badtheorylabs 回应对其 Interference Search 演示的质疑,澄清关键技术点:
- 演示左侧模型是 Qwen3-1.7B 而非 Opus;它在第 1313 个 token 就找到了正确表达式并多次验证,随后又漂回错误思路、最终没能给出答案——这正是演示要展示的行为
- Interference Search 不是要教模型 4×4=16,搜索侧的算术是精确的;难点在于不重复探索同一有效状态的前提下选择和组合操作:6 个数字的 831,176 条可能路径坍缩为 13,229 个不同状态,这就是节省的来源
- 承认「模型线性推理」说法太宽泛:模型会把常用操作编译进权重(可称 memoization);理想的 Interference Search 应让这些可靠操作保持原子性,只把不可靠部分外置
所属事件:BTL 新架构让 1.7B 模型解题大跃升，回应质疑(2 条相关)→
「模型」频道最新
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11
- 博主断言美国开源模型将凭盈利模式主导，但仍难追 Claude — marktenenholtz · 2026-11-11
- NVIDIA 发布开源 GR00T 2：真实灵巧手全自动完成化学实验 — EricBuess · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- 美国数据厂商被指向中国军方关联企业出售RL环境数据 — xeophon · 2026-11-11