DeepSeek V4 Flash vs Pro 实测:小模型找 Bug 全中,大模型信息量高 2.4 倍
TheDeepArchive · reddit · 2026-08-13
测试背景与方法
开发者针对 DeepSeek V4 Flash (0731) 和 DeepSeek V4 Pro (0813) 构建了严格的基准测试,在真实的 Python+PySide6 桌面应用代码库上对比二者的代码分析能力。
测试涵盖 6 类任务:架构审查、事实流追踪、真实 Bug 查找、重构计划、指令冲突测试和影响分析。共进行 18 次运行,提取了 239 个原子声明,并由第三方模型(Qwen 3.7 Plus)独立验证。
核心结论
- 事实准确性:两者准确率接近,Pro 为 95.9%,Flash 为 95.7%。Pro 几乎没有硬性事实错误。
- 输出信息量:Pro 输出量极大,验证声明达 169 个(比 Flash 多 2.4 倍)。
- Bug 查找能力:Flash 表现惊人,找出了全部 3 个已知潜在 Bug;而 Pro 仅找到 1 个。
- 一致性:Pro 的运行间一致性较低,深度波动约 2.7 倍。
「编程与Agent」频道最新
- 产品要做「两次销售」:先让 Agent 选中,再让人买单 — FinanceYF5 · 2026-10-16
- Sentry CEO 晒图:AI 实习生在 code review 里反驳人类同事 — zeeg · 2026-10-16
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 把 Claude Code 等 agent 轨迹攒成数据集,微调开源小模型 — Rasmic · 2026-10-16
- LangChain 工程师:仅靠生产 traces 自动生成 evals 远远不够 — BraceSproul · 2026-10-16
- Rebasely 公测:为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16