Together AI研究:最高推理档位成本可达最低档42倍但常无必要
togethercomputer · hf · 2026-10-28
Together AI 与约翰霍普金斯、康奈尔团队发布论文,系统测量 LLM 推理努力档位(reasoning effort) 的反事实效应,提出推理努力是一种信任品(credence good)——用户先付费、事后也无法判断多花的算力是否值当:
- 覆盖范围:专有与开源模型,4 个基准,涵盖单次推理与长程 agent 任务。
- 三个发现:① 更高档位虽能提升总体准确率,但经常做不出低档位本来能解对的题;② 在所有档位都能解的简单题上,最高档位成本可达最低档的 42 倍;③ effort 改变的不只是 token 用量,还有解题方式——高档位下 agent 更多自我验证、更多搜索而非直接推进,拉长轨迹却未必改变结果。
- 实用结论:从低 effort 起步、按需升级(escalation 策略)是更省钱的用法。
对 API 调用者和 agent 工程师的成本优化直接可用。
「编程与Agent」频道最新
- 神操作:用加拿大原住民字符伪造 Go 泛型,骗过所有读者 — rickasaurus · 2026-10-28
- 微软 Agensh 看板细节:「测试通过」只是一条消息 — shoumikgoswami · 2026-10-28
- Ollama 联手 FriendliAI 11月5日首尔办 Meetup，聚焦开源模型生产级 Agent — ollama · 2026-10-28
- theo 放话：产品逼我去用 Dashboard，我就让 Claude 重建一个 — sull · 2026-10-28
- Magic Patterns 首位工程师自述：Cursor 接 Slack、周末上线全新文件类型 — Y Combinator Blog · 2026-10-28
- 妻子求职10个月无果，程序员丈夫自建AI求职应用并开源 — CurieuxExplorer · 2026-10-28