云端 Agent 监督本地 35B 自出 800 题:出题比解题更易错,错题率 5 倍
Individual_Page9676 · reddit · 2026-10-25
一位 Reddit 用户分享了自己用云端前沿模型 Agent(通过 Tailscale + LM Studio 本地服务器)监督本地 Qwen3.6-35B 模型进行「自出题-盲解-暴力验证」完整流程的实验。
核心发现:模型「冷解题」远比「出题并写官方答案」可靠——在 74 个有分歧的争议题中,冷解者对了 56 次,出题者只对 12 次(约 5:1)。出题是易错模式,冷解是过滤器。
实验设置:
- 硬件:MacBook Pro M5 Max 128GB,LM Studio
- 主力:Qwen3.6-35B-A3B(约 375-400 tok/s,262k 上下文);裁判:122B-A10B MLX 模型(约 38 tok/s,慎用)
- 云端 Agent 负责全部记忆、任务简报与 Python 暴力验证;批量/private 工作走本地,判断与实时信息留给 Agent
流程与结果:
- 第一轮:构建冻结评测题库(80 道教师示例全部机器验证入库),35B 冷做 30 道推理题得 29/30
- 第二轮:模型自出 800 道数学题后盲解——731 题验证通过,62 题出题答案错误(保留题目+修正答案),7 题剔除;仅解题/仲裁就消耗 410 万+ completion tokens,全程本地零 API 花费
- 第三轮:793 个答案全部从头重解验证,774 个直接确认;19 个分歧交由 122B 盲裁 + Agent 暴力枚举,最终发现 4 道题本身有缺陷(如双有效答案、条件自相矛盾)
一个亮点:Agent 甚至逮住了自己此前写错的一道题答案。整套「出题-盲解-异法验证-仲裁」流水线可作为低成本自建验证数据集的可复现模板。
「编程与Agent」频道最新
- Row-Bot 5.3 发布:内置浏览器与分级审批的本地优先 Agent — Acceptable-Object390 · 2026-10-25
- 专业化成本崩塌,任务专属推理引擎正成为 agentic coding 新战场 — _AustinCalvert_ · 2026-10-25
- 模型越强 harness 越不重要?Miessler 谈两者分工 — _AustinCalvert_ · 2026-10-25
- 开源 agent 运行时 Celesto:给 AI 智能体安全持久电脑 — aniketmaurya · 2026-10-25
- Manning 推出免费四章电子书,手把手教你构建可测试的 Agent — kalyan_kpl · 2026-10-25
- 三个 GitHub 高星 AI 设计工具:合计超 30 万 star — bibryam · 2026-10-25